Управление памятью

В этом разделе кратко рассматривается классификация памяти и методы управления памятью в Selena.

Классификация памяти

Объяснение:

Метрика	Название	Описание
process	Общая используемая память BE
query_pool	Память, используемая для запросов данных	Состоит из двух частей: память, используемая уровнем выполнения, и память, используемая уровнем хранения.
load	Память, используемая для загрузки данных	Обычно MemTable
table_meta	Память метаданных	Схема, метаданные Tablet, метаданные RowSet, метаданные Column, ColumnReader, IndexReader
compaction	Многоверсионное сжатие памяти	compaction, которое происходит после завершения импорта данных
snapshot	Память снимков	Обычно используется для клонирования, небольшое использование памяти
column_pool	Память пула столбцов	Запрос на освобождение кэша столбцов для ускорения работы со столбцами
page_cache	Собственный PageCache BE	По умолчанию отключен, пользователь может включить его, изменив файл BE

Конфигурация, связанная с памятью

• Конфигурация BE

Название	По умолчанию	Описание
vector_chunk_size	4096	Количество строк в chunk
mem_limit	90%	Верхний лимит памяти процесса BE. Можно задать в процентах ("80%") или как физический лимит ("100G"). Жесткий лимит по умолчанию составляет 90% от размера памяти сервера, а мягкий лимит — 80%. Этот параметр необходимо настроить, если вы хотите развернуть Selena с другими ресурсоемкими службами на одном сервере.
disable_storage_page_cache	false	Логическое значение для управления отключением PageCache. Когда PageCache включен, Selena кэширует недавно просканированные данные. PageCache может значительно улучшить производительность запросов при частом повторении похожих запросов. true означает отключение PageCache. Используйте этот параметр вместе с storage_page_cache_limit, чтобы ускорить производительность запросов в сценариях с достаточными ресурсами памяти и большим объемом сканирования данных. Значение по умолчанию для этого параметра было изменено с true на false начиная с Selena v2.4.
write_buffer_size	104857600	Лимит емкости одной MemTable, при превышении которого будет выполнена запись на диск.
load_process_max_memory_limit_bytes	107374182400	Верхний лимит ресурсов памяти, которые могут занимать все процессы загрузки на узле BE. Его значение является меньшим из mem_limit * load_process_max_memory_limit_percent / 100 и load_process_max_memory_limit_bytes. При превышении этого порога будет запущена очистка и обратное давление.
load_process_max_memory_limit_percent	30	Максимальный процент ресурсов памяти, которые могут занимать все процессы загрузки на узле BE. Его значение является меньшим из mem_limit * load_process_max_memory_limit_percent / 100 и load_process_max_memory_limit_bytes. При превышении этого порога будет запущена очистка и обратное давление.
default_load_mem_limit	2147483648	Если достигнут лимит памяти на принимающей стороне для одного экземпляра импорта, будет запущена запись на диск. Это нужно изменить вместе с переменной сессии load_mem_limit, чтобы изменения вступили в силу. Этот параметр изменяемый, когда включена Event-based Compaction Framework.
max_compaction_concurrency	-1	Максимальная параллельность compaction (как Base Compaction, так и Cumulative Compaction). Значение -1 означает, что ограничения на параллельность не накладываются.
cumulative_compaction_check_interval_seconds	1	Интервал проверки compaction

• Переменные сессии

Название	По умолчанию	Описание
query_mem_limit	0	Лимит памяти запроса на каждом узле BE
load_mem_limit	0	Лимит памяти одной задачи импорта. Если значение равно 0, будет использоваться exec_mem_limit

Просмотр использования памяти

• mem_tracker

//Просмотр общей статистики памяти
<http://be_ip:be_http_port/mem_tracker>

// Просмотр детальной статистики памяти
<http://be_ip:be_http_port/mem_tracker?type=query_pool&upper_level=3>

• tcmalloc

<http://be_ip:be_http_port/memz>

------------------------------------------------
MALLOC:      777276768 (  741.3 MiB) Bytes in use by application
MALLOC: +   8851890176 ( 8441.8 MiB) Bytes in page heap freelist
MALLOC: +    143722232 (  137.1 MiB) Bytes in central cache freelist
MALLOC: +     21869824 (   20.9 MiB) Bytes in transfer cache freelist
MALLOC: +    832509608 (  793.9 MiB) Bytes in thread cache freelists
MALLOC: +     58195968 (   55.5 MiB) Bytes in malloc metadata
MALLOC:   ------------
MALLOC: =  10685464576 (10190.5 MiB) Actual memory used (physical + swap)
MALLOC: +  25231564800 (24062.7 MiB) Bytes released to OS (aka unmapped)
MALLOC:   ------------
MALLOC: =  35917029376 (34253.1 MiB) Virtual address space used
MALLOC:
MALLOC:         112388              Spans in use
MALLOC:            335              Thread heaps in use
MALLOC:           8192              Tcmalloc page size
------------------------------------------------
Call ReleaseFreeMemory() to release freelist memory to the OS (via madvise()).
Bytes released to the OS take up virtual address space but no physical memory.

Память, запрашиваемая этим методом, точна. Однако некоторая память в Selena зарезервирована, но не используется. TcMalloc подсчитывает зарезервированную память, а не используемую память.

Здесь Bytes in use by application относится к памяти, используемой в данный момент.

• metrics

curl -XGET http://be_ip:be_http_port/metrics | grep 'mem'
curl -XGET http://be_ip:be_http_port/metrics | grep 'column_pool'

Значение metrics обновляется каждые 10 секунд. Возможно отслеживать некоторую статистику памяти в старых версиях.