Конфигурация BE

Некоторые параметры конфигурации BE являются динамическими, и их можно задавать интерактивно во время работы узлов BE. Остальные являются статическими параметрами. Статические параметры узла BE можно задать только путём их изменения в соответствующем конфигурационном файле be.conf и перезапуска узла BE для вступления изменений в силу.

Просмотр параметров конфигурации BE

Вы можете просмотреть параметры конфигурации BE с помощью следующей команды:

curl http://<BE_IP>:<BE_HTTP_PORT>/varz

Настройка параметров BE

Настройка динамических параметров BE

Вы можете настроить динамический параметр узла BE с помощью команды curl.

curl -XPOST http://be_host:http_port/api/update_config?<configuration_item>=<value>

Настройка статических параметров BE

Статические параметры BE можно задать только путём их изменения в соответствующем конфигурационном файле be.conf и перезапуска BE для вступления изменений в силу.

Описание параметров BE

Server

priority_networks

• Default: Empty string
• Type: String
• Unit: -
• Is mutable: No
• Description: Определяет стратегию выбора для серверов с несколькими IP-адресами. Только один IP-адрес должен соответствовать списку, указанному в этом параметре. Значение параметра — это список записей, разделённых точкой с запятой (;) в нотации CIDR, например 10.10.10.0/24. Если ни один IP-адрес не соответствует записям в этом списке, будет случайно выбран доступный IP-адрес сервера. Начиная с версии v1.5.2, Selena поддерживает развёртывание на основе IPv6. Если у сервера есть как IPv4, так и IPv6 адреса, и этот параметр не указан, система по умолчанию использует IPv4 адрес. Вы можете изменить это поведение, установив для параметра net_use_ipv6_when_priority_networks_empty значение true.
• Introduced in: -

net_use_ipv6_when_priority_networks_empty

• Default: false
• Type: Boolean
• Unit: -
• Is mutable: No
• Description: Булево значение, определяющее, использовать ли IPv6 адреса предпочтительно, когда priority_networks не указан. true указывает системе использовать IPv6 адрес предпочтительно, когда сервер, на котором размещён узел, имеет как IPv4, так и IPv6 адреса, и параметр priority_networks не указан.
• Introduced in: v1.5.2

mem_limit

• Default: 90%
• Type: String
• Unit: -
• Is mutable: No
• Description: Верхний лимит памяти процесса BE. Можно задать в процентах ("80%") или в физическом выражении ("100G"). Жёсткий лимит по умолчанию составляет 90% памяти сервера, а мягкий лимит — 80%. Необходимо настроить этот параметр, если вы хотите развернуть Selena вместе с другими ресурсоёмкими по памяти сервисами на одном сервере.
• Introduced in: -

num_threads_на_core

• Default: 3
• Type: Int
• Unit: -
• Is mutable: No
• Description: Количество потоков, запускаемых на каждом ядре процессора.
• Introduced in: -

be_http_port

• Default: 8040
• Type: Int
• Unit: -
• Is mutable: No
• Description: Порт HTTP-сервера BE.
• Introduced in: -

be_http_num_workers

• Default: 48
• Type: Int
• Unit: -
• Is mutable: No
• Description: Количество потоков, используемых HTTP-сервером.
• Introduced in: -

be_exit_after_disk_write_hang_second

• Default: 60
• Type: Int
• Unit: Seconds
• Is mutable: No
• Description: Время ожидания перед выходом BE после зависания диска.
• Introduced in: -

compress_rowbatches

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: No
• Description: Булево значение, определяющее, сжимать ли пакеты строк в RPC между BE. true означает сжатие пакетов строк, false означает отсутствие сжатия.
• Introduced in: -

serialize_batch

• Default: false
• Type: Boolean
• Unit: -
• Is mutable: No
• Description: Булево значение, определяющее, сериализовать ли пакеты строк в RPC между BE. true означает сериализацию пакетов строк, false означает отсутствие сериализации.
• Introduced in: -

Thrift

be_port

• Default: 9060
• Type: Int
• Unit: -
• Is mutable: No
• Description: Порт thrift-сервера BE, используемый для приёма запросов от FE.
• Introduced in: -

thrift_client_retry_interval_ms

• Default: 100
• Type: Int
• Unit: Milliseconds
• Is mutable: Yes
• Description: Интервал времени для повторных попыток thrift-клиента.
• Introduced in: -

thrift_rpc_таймаут_ms

• Default: 5000
• Type: Int
• Unit: Milliseconds
• Is mutable: Yes
• Description: Таймаут для thrift RPC.
• Introduced in: -

thrift_rpc_strict_mode

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: No
• Description: Включён ли строгий режим выполнения thrift. Подробнее о строгом режиме thrift см. Thrift Binary protocol encoding.
• Introduced in: -

thrift_rpc_max_body_size

• Default: 0
• Type: Int
• Unit:
• Is mutable: No
• Description: Максимальный размер строкового тела RPC. 0 означает неограниченный размер.
• Introduced in: -

thrift_rpc_connection_max_valid_time_ms

• Default: 5000
• Type: Int
• Unit: Milliseconds
• Is mutable: No
• Description: Максимальное время действительности thrift RPC-соединения. Соединение будет закрыто, если оно существует в пуле соединений дольше этого значения. Должно быть установлено в соответствии с конфигурацией FE thrift_client_таймаут_ms.
• Introduced in: -

bRPC

brpc_port

• Default: 8060
• Type: Int
• Unit: -
• Is mutable: No
• Description: Порт bRPC BE, используемый для просмотра сетевой статистики bRPC.
• Introduced in: -

brpc_num_threads

• Default: -1
• Type: Int
• Unit: -
• Is mutable: No
• Description: Количество bthreads для bRPC. Значение -1 означает то же количество, что и потоков CPU.
• Introduced in: -

brpc_max_body_size

• Default: 2147483648
• Type: Int
• Unit: Bytes
• Is mutable: No
• Description: Максимальный размер тела bRPC.
• Introduced in: -

brpc_stub_expire_s

• Default: 3600
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Время истечения кеша BRPC stub, по умолчанию 60 минут.
• Introduced in: -

Heartbeat

heartbeat_service_port

• Default: 9050
• Type: Int
• Unit: -
• Is mutable: No
• Description: Порт сервиса heartbeat BE, используемый для приёма heartbeat от FE.
• Introduced in: -

heartbeat_service_thread_count

• Default: 1
• Type: Int
• Unit: -
• Is mutable: No
• Description: Количество потоков сервиса heartbeat BE.
• Introduced in: -

Logging

sys_log_dir

• Default: ${SELENA_HOME}/log
• Type: String
• Unit: -
• Is mutable: No
• Description: Директория для хранения системных логов (включая INFO, WARNING, ERROR и FATAL).
• Introduced in: -

sys_log_level

• Default: INFO
• Type: String
• Unit: -
• Is mutable: Yes (from v1.5.2)
• Description: Уровни серьёзности, по которым классифицируются записи системного лога. Допустимые значения: INFO, WARN, ERROR и FATAL. Начиная с версий v1.5.2 этот параметр стал динамическим.
• Introduced in: -

sys_log_roll_mode

• Default: SIZE-MB-1024
• Type: String
• Unit: -
• Is mutable: No
• Description: Режим сегментации системных логов в файлы. Допустимые значения включают TIME-DAY, TIME-HOUR и SIZE-MB-размер. Значение по умолчанию указывает, что логи сегментируются в файлы размером по 1 ГБ каждый.
• Introduced in: -

sys_log_roll_num

• Default: 10
• Type: Int
• Unit: -
• Is mutable: No
• Description: Количество файлов логов для хранения.
• Introduced in: -

sys_log_verbose_modules

• Default:
• Type: Strings
• Unit: -
• Is mutable: No
• Description: Модуль логов для печати. Например, если установить этот параметр конфигурации в OLAP, Selena будет печатать только логи модуля OLAP. Допустимые значения — это пространства имён в BE, включая selena, selena::debug, selena::fs, selena::io, selena::lake, selena::pipeline, selena::query_cache, selena::stream и selena::workgroup.
• Introduced in: -

sys_log_verbose_level

• Default: 10
• Type: Int
• Unit: -
• Is mutable: No
• Description: Уровень печати логов. Этот параметр конфигурации используется для управления выводом логов, инициированных с помощью VLOG в коде.
• Introduced in: -

log_buffer_level

• Default: Empty string
• Type: String
• Unit: -
• Is mutable: No
• Description: Стратегия сброса логов. Значение по умолчанию указывает, что логи буферизуются в памяти. Допустимые значения: -1 и 0. -1 указывает, что логи не буферизуются в памяти.
• Introduced in: -

update_tablet_meta_info_worker_count

• Default: 1
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Устанавливает максимальное количество рабочих потоков в пуле потоков backend, который обрабатывает задачи обновления метаданных tablet. Пул потоков создаётся при запуске backend с минимум 0 потоками (может масштабироваться до нуля в простое) и максимумом, равным этому значению (не менее 1). Обновление этого значения во время выполнения корректирует максимальное количество потоков в пуле. Увеличьте его, чтобы разрешить больше одновременных задач обновления метаданных, или уменьшите, чтобы ограничить параллелизм.
• Introduced in: v2.0.0, v1.5.2

Statistic report

report_task_interval_seconds

• Default: 10
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Интервал времени для отправки отчётов о состоянии задачи. Задачей может быть создание таблицы, удаление таблицы, загрузка данных или изменение схемы таблицы.
• Introduced in: -

report_disk_state_interval_seconds

• Default: 60
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Интервал времени для отправки отчётов о состоянии тома хранилища, включая размер данных в томе.
• Introduced in: -

report_tablet_interval_seconds

• Default: 60
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Интервал времени для отправки отчётов о последней обновлённой версии всех tablets.
• Introduced in: -

report_workgroup_interval_seconds

• Default: 5
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Интервал времени для отправки отчётов о последней обновлённой версии всех workgroups.
• Introduced in: -

status_report_interval

• Default: 5
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Интервал времени, с которым запрос отправляет свой profile, который может использоваться для сбора статистики запросов FE.
• Introduced in: -

наiodic_counter_update_наiod_ms

• Default: 500
• Type: Int
• Unit: Milliseconds
• Is mutable: Yes
• Description: Интервал времени для сбора статистики Counter.
• Introduced in: -

Storage

primary_key_limit_size

• Default: 128
• Type: Int
• Unit: Bytes
• Is mutable: Yes
• Description: Максимальный размер ключевого столбца в таблицах Primary Key.
• Introduced in: v1.5.2

drop_tablet_worker_count

• Default: 0
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Количество потоков, используемых для удаления tablet. 0 означает половину ядер CPU в узле.
• Introduced in: -

alter_tablet_worker_count

• Default: 3
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Количество потоков, используемых для Schema Change.
• Introduced in: -

avro_ignore_union_type_tag

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: Удалять ли тег типа из JSON-строки, сериализованной из типа данных Avro Union.
• Introduced in: v1.5.2

clone_worker_count

• Default: 3
• Type: Int
• Unit: -
• Is mutable: No
• Description: Количество потоков, используемых для клонирования.
• Introduced in: -

storage_medium_migrate_count

• Default: 3
• Type: Int
• Unit: -
• Is mutable: No
• Description: Количество потоков, используемых для миграции носителя хранения (с SATA на SSD).
• Introduced in: -

check_consistency_worker_count

• Default: 1
• Type: Int
• Unit: -
• Is mutable: No
• Description: Количество потоков, используемых для проверки согласованности tablets.
• Introduced in: -

upload_worker_count

• Default: 0
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество потоков для задач загрузки резервного копирования на узле BE. 0 означает установку значения равным количеству ядер CPU на машине, где находится BE.
• Introduced in: -

download_worker_count

• Default: 0
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество потоков для задач скачивания восстановления на узле BE. 0 означает установку значения равным количеству ядер CPU на машине, где находится BE.
• Introduced in: -

make_snapshot_worker_count

• Default: 5
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество потоков для задач создания snapshot на узле BE.
• Introduced in: -

release_snapshot_worker_count

• Default: 5
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество потоков для задач освобождения snapshot на узле BE.
• Introduced in: -

max_download_speed_kbps

• Default: 50000
• Type: Int
• Unit: KB/Second
• Is mutable: Yes
• Description: Максимальная скорость скачивания для каждого HTTP-запроса. Это значение влияет на производительность синхронизации реплик данных между узлами BE.
• Introduced in: -

download_low_speed_limit_kbps

• Default: 50
• Type: Int
• Unit: KB/Second
• Is mutable: Yes
• Description: Нижний предел скорости скачивания для каждого HTTP-запроса. HTTP-запрос прерывается, когда он постоянно выполняется со скоростью ниже этого значения в течение временного интервала, указанного в параметре конфигурации download_low_speed_time.
• Introduced in: -

download_low_speed_time

• Default: 300
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Максимальное время, в течение которого HTTP-запрос может выполняться со скоростью скачивания ниже лимита. HTTP-запрос прерывается, когда он постоянно выполняется со скоростью ниже значения download_low_speed_limit_kbps в течение временного интервала, указанного в этом параметре конфигурации.
• Introduced in: -

memory_limitation_на_thread_for_schema_change

• Default: 2
• Type: Int
• Unit: GB
• Is mutable: Yes
• Description: Максимальный размер памяти, разрешённый для каждой задачи изменения схемы.
• Introduced in: -

update_cache_expire_sec

• Default: 360
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Время истечения Update Cache.
• Introduced in: -

file_descriptor_cache_clean_interval

• Default: 3600
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Интервал времени для очистки дескрипторов файлов, которые не использовались в течение определённого периода времени.
• Introduced in: -

disk_stat_monitor_interval

• Default: 5
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Интервал времени для мониторинга состояния работоспособности дисков.
• Introduced in: -

replication_threads

• Default: 0
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество потоков, используемых для репликации. 0 означает установку количества потоков в четыре раза больше количества ядер CPU BE.
• Introduced in: v1.5.2

replication_max_speed_limit_kbps

• Default: 50000
• Type: Int
• Unit: KB/s
• Is mutable: Yes
• Description: Максимальная скорость каждого потока репликации.
• Introduced in: v1.5.2

replication_min_speed_limit_kbps

• Default: 50
• Type: Int
• Unit: KB/s
• Is mutable: Yes
• Description: Минимальная скорость каждого потока репликации.
• Introduced in: v1.5.2

replication_min_speed_time_seconds

• Default: 300
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Допустимая длительность времени для потока репликации работать со скоростью ниже минимальной. Репликация завершится ошибкой, если время, когда фактическая скорость ниже replication_min_speed_limit_kbps, превысит это значение.
• Introduced in: v1.5.2

clear_expired_replication_snapshots_interval_seconds

• Default: 3600
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Интервал времени, с которым система очищает истёкшие snapshots, оставшиеся от аномальных репликаций.
• Introduced in: v1.5.2

unused_rowset_monitor_interval

• Default: 30
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Интервал времени для очистки истёкших rowsets.
• Introduced in: -

storage_root_path

• Default: ${SELENA_HOME}/storage
• Type: String
• Unit: -
• Is mutable: No
• Description: Директория и носитель тома хранения. Пример: /data1,medium:hdd;/data2,medium:ssd.
  • Несколько томов разделяются точкой с запятой (;).
  • Если носитель хранения — SSD, добавьте ,medium:ssd в конце директории.
  • Если носитель хранения — HDD, добавьте ,medium:hdd в конце директории.
• Introduced in: -

max_наcentage_of_error_disk

• Default: 0
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальный процент ошибок, который допустим в томе хранения до того, как соответствующий узел BE завершит работу.
• Introduced in: -

default_num_rows_на_column_file_block

• Default: 1024
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество строк, которое может быть сохранено в каждом блоке строк.
• Introduced in: -

max_tablet_num_на_shard

• Default: 1024
• Type: Int
• Unit: -
• Is mutable: No
• Description: Максимальное количество tablets в каждом shard. Этот параметр конфигурации используется для ограничения количества дочерних директорий tablet под каждой директорией хранения.
• Introduced in: -

ожидающий_data_expire_time_sec

• Default: 1800
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Время истечения ожидающих данных в движке хранения.
• Introduced in: -

inc_rowset_expired_sec

• Default: 1800
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Время истечения входящих данных. Этот параметр конфигурации используется в инкрементном клонировании.
• Introduced in: -

tablet_rowset_stale_sweep_time_sec

• Default: 1800
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Интервал времени для очистки устаревших rowsets в tablets.
• Introduced in: -

max_garbage_sweep_interval

• Default: 3600
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Максимальный интервал времени для сборки мусора на томах хранения. Начиная с версии v1.5.2, этот параметр конфигурации стал динамическим.
• Introduced in: -

min_garbage_sweep_interval

• Default: 180
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Минимальный интервал времени для сборки мусора на томах хранения. Начиная с версии v1.5.2, этот параметр конфигурации стал динамическим.
• Introduced in: -

snapshot_expire_time_sec

• Default: 172800
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Время истечения файлов snapshot.
• Introduced in: -

trash_file_expire_time_sec

• Default: 86400
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Интервал времени для очистки файлов из корзины. Значение по умолчанию было изменено с 259,200 на 86,400 начиная с версий v1.5.2.
• Introduced in: -

compact_threads

• Default: 4
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество потоков, используемых для параллельных задач compaction. Начиная с версий v1.5.2, этот параметр конфигурации стал динамическим.
• Introduced in: v1.5.2

base_compaction_check_interval_seconds

• Default: 60
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Интервал опроса потока для Base Compaction.
• Introduced in: -

min_base_compaction_num_singleton_deltas

• Default: 5
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Минимальное количество сегментов, которое запускает Base Compaction.
• Introduced in: -

max_base_compaction_num_singleton_deltas

• Default: 100
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество сегментов, которое может быть уплотнено в каждом Base Compaction.
• Introduced in: -

base_compaction_num_threads_на_disk

• Default: 1
• Type: Int
• Unit: -
• Is mutable: No
• Description: Количество потоков, используемых для Base Compaction на каждом томе хранения.
• Introduced in: -

base_cumulative_delta_ratio

• Default: 0.3
• Type: Double
• Unit: -
• Is mutable: Yes
• Description: Отношение совокупного размера файла к базовому размеру файла. Достижение этого соотношения является одним из условий запуска Base Compaction.
• Introduced in: -

base_compaction_interval_seconds_since_last_oнаation

• Default: 86400
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Интервал времени с момента последнего Base Compaction. Этот параметр конфигурации является одним из условий запуска Base Compaction.
• Introduced in: -

cumulative_compaction_check_interval_seconds

• Default: 1
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Интервал опроса потока для Cumulative Compaction.
• Introduced in: -

min_cumulative_compaction_num_singleton_deltas

• Default: 5
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Минимальное количество сегментов для запуска Cumulative Compaction.
• Introduced in: -

max_cumulative_compaction_num_singleton_deltas

• Default: 1000
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество сегментов, которое может быть объединено в одном Cumulative Compaction. Вы можете уменьшить это значение, если во время compaction возникает OOM.
• Introduced in: -

cumulative_compaction_num_threads_на_disk

• Default: 1
• Type: Int
• Unit: -
• Is mutable: No
• Description: Количество потоков Cumulative Compaction на диск.
• Introduced in: -

max_compaction_candidate_num

• Default: 40960
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество tablet-кандидатов для compaction. Если значение слишком велико, это вызовет высокое использование памяти и высокую нагрузку на CPU.
• Introduced in: -

update_compaction_check_interval_seconds

• Default: 10
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Интервал времени для проверки compaction для таблиц Primary Key.
• Introduced in: -

update_compaction_num_threads_на_disk

• Default: 1
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Количество потоков Compaction на диск для таблиц Primary Key.
• Introduced in: -

update_compaction_на_tablet_min_interval_seconds

• Default: 120
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Минимальный интервал времени для запуска compaction для каждого tablet в таблице Primary Key.
• Introduced in: -

max_update_compaction_num_singleton_deltas

• Default: 1000
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество rowsets, которое может быть объединено в одном Compaction для таблиц Primary Key.
• Introduced in: -

update_compaction_size_threshold

• Default: 268435456
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Compaction Score таблиц Primary Key вычисляется на основе размера файла, что отличается от других типов таблиц. Этот параметр можно использовать, чтобы сделать Compaction Score таблиц Primary Key похожим на таковой у других типов таблиц, что облегчит понимание для пользователей.
• Introduced in: -

update_compaction_result_bytes

• Default: 1073741824
• Type: Int
• Unit: Bytes
• Is mutable: Yes
• Description: Максимальный размер результата одного compaction для таблиц Primary Key.
• Introduced in: -

update_compaction_delvec_file_io_amp_ratio

• Default: 2
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Используется для управления приоритетом compaction для rowsets, содержащих файлы Delvec в таблицах Primary Key. Чем больше значение, тем выше приоритет.
• Introduced in: -

update_compaction_ratio_threshold

• Default: 0.5
• Type: Double
• Unit: -
• Is mutable: Yes
• Description: Максимальная доля данных, которую может объединить compaction для таблицы Primary Key в shared-data cluster. Рекомендуется уменьшить это значение, если один tablet становится чрезмерно большим.
• Introduced in: v1.5.2

repair_compaction_interval_seconds

• Default: 600
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Интервал опроса потоков Repair Compaction.
• Introduced in: -

manual_compaction_threads

• Default: 4
• Type: Int
• Unit: -
• Is mutable: No
• Description: Количество потоков для Manual Compaction.
• Introduced in: -

min_compaction_failure_interval_sec

• Default: 120
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Минимальный интервал времени, с которым может быть запланирован compaction tablet с момента предыдущего сбоя compaction.
• Introduced in: -

min_cumulative_compaction_failure_interval_sec

• Default: 30
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Минимальный интервал времени для повторных попыток Cumulative Compaction при сбоях.
• Introduced in: -

max_compaction_concurrency

• Default: -1
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальная параллельность compactions (включая как Base Compaction, так и Cumulative Compaction). Значение -1 указывает, что на параллельность не накладывается ограничение. 0 указывает на отключение compaction. Этот параметр изменяемый, когда включён Event-based Compaction Framework.
• Introduced in: -

compaction_trace_threshold

• Default: 60
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Временной порог для каждого compaction. Если compaction занимает больше времени, чем временной порог, Selena печатает соответствующий trace.
• Introduced in: -

compaction_memory_limit_на_worker

• Default: 2147483648
• Type: Int
• Unit: Bytes
• Is mutable: No
• Description: Максимальный размер памяти, разрешённый для каждого потока Compaction.
• Introduced in: -

enable_rowset_verify

• Default: false
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: Определяет, verify the correctness of generated rowsets. When enabled, the correctness of the generated rowsets будет checked after Compaction and Schema Change.
• Introduced in: -

vertical_compaction_max_columns_на_group

• Default: 5
• Type: Int
• Unit: -
• Is mutable: No
• Description: Максимальное количество columns на group of Vertical Compactions.
• Introduced in: -

enable_event_based_compaction_framework

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: No
• Description: Определяет, enable the Event-based Compaction Framework. true означает Event-based Compaction Framework включён, and false означает it отключён. Enabling Event-based Compaction Framework can greatly reduce the overhead of compaction in scenarios where there are mлюбой tablets or a single tablet has a large amount of data.
• Introduced in: -

enable_size_tiered_compaction_strategy

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: No
• Description: Определяет, enable the Size-tiered Compaction policy (excluding Primary Key tables). true означает the Size-tiered Compaction strategy включён, and false означает it отключён.
• Introduced in: -

enable_pk_size_tiered_compaction_strategy

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: No
• Description: Определяет, enable the Size-tiered Compaction policy for Primary Key tables. true означает the Size-tiered Compaction strategy включён, and false означает it отключён.
• Introduced in: This item вступает в силу from v1.5.2.

enable_strict_delvec_crc_check

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: When enable_strict_delvec_crc_check установлен в true, we will наform a strict CRC32 check on the delete vector, and if a mismatch is detected, a failure будет returned.
• Introduced in: -

size_tiered_min_level_size

• Default: 131072
• Type: Int
• Unit: Bytes
• Is mutable: Yes
• Description: The data size of the minimum level in the Size-tiered Compaction policy. Rowsets smвсеer than this value immediately trigger the data compaction.
• Introduced in: -

size_tiered_level_multiple

• Default: 5
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: The multiple of data size between two contiguous levels in the Size-tiered Compaction policy.
• Introduced in: -

size_tiered_level_multiple_dupkey

• Default: 10
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: In the Size-tiered Compaction policy, the multiple of the data amount difference between two adjacent levels for Duplicate Key tables.
• Introduced in: -

size_tiered_level_num

• Default: 7
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Количество levels for the Size-tiered Compaction policy. At most one rowset is reserved for каждый level. Therefore, under a stable condition, there are, at most, as mлюбой rowsets as the level number specified in this configuration item.
• Introduced in: -

enable_check_string_lengths

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: No
• Description: Определяет, check the data length during loading to solve compaction failures caused by out-of-bound VARCHAR data.
• Introduced in: -

max_row_source_mask_memory_bytes

• Default: 209715200
• Type: Int
• Unit: Bytes
• Is mutable: No
• Description: Максимум размер памяти of the row source mask buffer. Когда buffer is larger than this value, data будет наsisted to a temporary file on the disk. Это значение должен быть set lower than the value of compaction_memory_limit_на_worker.
• Introduced in: -

memory_maintenance_sleep_time_s

• Default: 10
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Интервал времени at which ColumnPool GC срабатывает. Selena выполняет GC наiodicвсеy and returns the released memory to the oнаating system.
• Introduced in: -

load_channel_abort_clean_up_delay_seconds

• Default: 600
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Controls how long (в секундах) LoadChannelMgr keeps the load IDs of aborted load channels before removing them from _aborted_load_channels. When a load job is cancelled or fails, the load ID stays recorded so любой late-arriving load RPCs может быть rejected immediately; once the delay expires, the entry is cleaned during the наiodic background sweep (minimum sweep interval is 60 seconds). Setting the delay too low risks accepting stray RPCs after an abort, while настройка it too high may retain state and consume resources longer than necessary. Tune this to balance correctness of late-request rejection and resource retention for aborted loads.
• Introduced in: v1.5.2, v2.0.0

load_process_max_memory_limit_bytes

• Default: 107374182400
• Type: Int
• Unit: Bytes
• Is mutable: No
• Description: Максимум size limit of memory resources that может быть taken up by все load обрабатывает on a BE node.
• Introduced in: -

load_process_max_memory_limit_наcent

• Default: 30
• Type: Int
• Unit: -
• Is mutable: No
• Description: The soft limit (in наcentage) of memory resources that может быть taken up by все load обрабатывает on a BE node.
• Introduced in: -

load_process_max_memory_hard_limit_ratio

• Default: 2
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: The hard limit (ratio) of memory resources that может быть taken up by все load обрабатывает on a BE node. When enable_new_load_on_memory_limit_exceeded установлен в false, and the memory consumption of все loading обрабатывает exceeds load_process_max_memory_limit_наcent * load_process_max_memory_hard_limit_ratio, new loading обрабатывает будет rejected.
• Introduced in: v1.5.2

enable_new_load_on_memory_limit_exceeded

• Default: false
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: Определяет, всеow new loading обрабатывает when the hard memory resource limit is rкаждыйed. true означает new loading обрабатывает будет всеowed, and false означает they будет rejected.
• Introduced in: v1.5.2

sync_tablet_meta

• Default: false
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: Булево значение, определяющее, чтобы включить the synchronization of the tablet metadata. true означает enabling synchronization, and false означает disabling it.
• Introduced in: -

storage_flood_stage_usage_наcent

• Default: 95
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Hard limit of the storage usage наcentage in все BE directories. Если storage usage (in наcentage) of the BE директория хранения exceeds this value and the remaining storage space is less than storage_flood_stage_left_capacity_bytes, Load and Restore jobs are rejected. Вам необходимо set this item together with the FE configuration item storage_usage_hard_limit_наcent to всеow the configurations to take effect.
• Introduced in: -

storage_flood_stage_left_capacity_bytes

• Default: 107374182400
• Type: Int
• Unit: Bytes
• Is mutable: Yes
• Description: Hard limit of the remaining storage space in все BE directories. Если remaining storage space of the BE директория хранения is less than this value and the storage usage (in наcentage) exceeds storage_flood_stage_usage_наcent, Load and Restore jobs are rejected. Вам необходимо set this item together with the FE configuration item storage_usage_hard_limit_reserve_bytes to всеow the configurations to take effect.
• Introduced in: -

tablet_meta_checkpoint_min_new_rowsets_num

• Default: 10
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Минимальное количество rowsets to create since the last TabletMeta Checkpoint.
• Introduced in: -

tablet_meta_checkpoint_min_interval_secs

• Default: 600
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Интервал времени of thread polling for a TabletMeta Checkpoint.
• Introduced in: -

tablet_map_shard_size

• Default: 1024
• Type: Int
• Unit: -
• Is mutable: No
• Description: The tablet map shard size. The value должен быть a power of two.
• Introduced in: -

tablet_max_versions

• Default: 1000
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество versions всеowed on a tablet. Если number of versions exceeds this value, new write requests will fail.
• Introduced in: -

tablet_max_ожидающий_versions

• Default: 1000
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество ожидающий versions that are tolerable on a Primary Key tablet. Pending versions refer to versions that are committed but not applied yet.
• Introduced in: -

tablet_stat_cache_update_interval_second

• Default: 300
• Type: Int
• Unit: Seconds
• Is mutable: 是
• Description: Интервал времени at which Tablet Stat Cache updates.
• Introduced in: -

enable_bitmap_union_disk_format_with_set

• Default: false
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: Булево значение, определяющее, чтобы включить the new storage format of the BITMAP type, which can improve the наformance of bitmap_union. true означает enabling the new storage format, and false означает disabling it.
• Introduced in: -

pindex_major_compaction_limit_на_disk

• Default: 1
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимум concurrency of compaction on a disk. This addresses the issue of uneven I/O across disks due для сжатияion. This issue can cause excessively high I/O for certain disks.
• Introduced in: v1.5.2

Loading

push_worker_count_normal_priority

• Default: 3
• Type: Int
• Unit: -
• Is mutable: No
• Description: Количество потоков, используемых для обработки задачи загрузки с приоритетом NORMAL.
• Introduced in: -

push_worker_count_high_priority

• Default: 3
• Type: Int
• Unit: -
• Is mutable: No
• Description: Количество потоков, используемых для обработки задачи загрузки с приоритетом HIGH.
• Introduced in: -

transaction_publish_version_worker_count

• Default: 0
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество потоков, используемых для публикации версии. Когда это значение установлено меньше или равно 0, система использует количество ядер CPU в качестве значения, чтобы избежать нехватки ресурсов потоков, когда параллелизм импорта высок, но используется только фиксированное количество потоков. Начиная с версии v1.5.2, значение по умолчанию было изменено с 8 на 0.
• Introduced in: -

transaction_publish_version_thread_pool_idle_time_ms

• Default: 60000
• Type: Int
• Unit: Milliseconds
• Is mutable: No
• Description: Время простоя перед тем, как поток будет освобождён пулом потоков Publish Version.
• Introduced in: -

clear_transaction_task_worker_count

• Default: 1
• Type: Int
• Unit: -
• Is mutable: No
• Description: Количество потоков, используемых для очистки транзакций.
• Introduced in: -

load_data_reserve_hours

• Default: 4
• Type: Int
• Unit: Hours
• Is mutable: No
• Description: Время хранения файлов, созданных при малых загрузках.
• Introduced in: -

load_error_log_reserve_hours

• Default: 48
• Type: Int
• Unit: Hours
• Is mutable: Yes
• Description: Время, в течение которого сохраняются логи загрузки данных.
• Introduced in: -

number_tablet_writer_threads

• Default: 0
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Количество потоков tablet writer, используемых при загрузке данных, таких как Stream Load, Broker Load и Insert. Когда параметр установлен меньше или равен 0, система использует половину количества ядер CPU, с минимумом 16. Когда параметр установлен больше 0, система использует это значение. Начиная с версии v1.5.2, этот параметр конфигурации стал динамическим.
• Introduced in: -

streaming_load_max_mb

• Default: 102400
• Type: Int
• Unit: MB
• Is mutable: Yes
• Description: Максимум size of a file that может быть streamed into Selena. Начиная с v1.5.2, the значение по умолчанию был изменён from 10240 to 102400.
• Introduced in: -

streaming_load_max_batch_size_mb

• Default: 100
• Type: Int
• Unit: MB
• Is mutable: Yes
• Description: Максимум size of a JSON file that может быть streamed into Selena.
• Introduced in: -

streaming_load_rpc_max_alive_time_sec

• Default: 1200
• Type: Int
• Unit: Seconds
• Is mutable: No
• Description: The RPC таймаут for Stream Load.
• Introduced in: -

write_buffer_size

• Default: 104857600
• Type: Int
• Unit: Bytes
• Is mutable: Yes
• Description: The размер буфера of MemTable in the memory. Этот параметр конфигурации is the threshold to trigger a flush.
• Introduced in: -

load_process_max_memory_limit_bytes

• Default: 107374182400
• Type: Int
• Unit: Bytes
• Is mutable: No
• Description: Максимум size limit of memory resources that может быть taken up by все load обрабатывает on a BE node.
• Introduced in: -

txn_commit_rpc_таймаут_ms (Deprecated)

• Default: 60000
• Type: Int
• Unit: Milliseconds
• Is mutable: Yes
• Description: The таймаут for a transaction commit RPC. Начиная с v1.5.2, this parameter is deprecated.
• Introduced in: -

max_consumer_num_на_group

• Default: 3
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество consumers in a consumer group of Routine Load.
• Introduced in: -

flush_thread_num_на_store

• Default: 2
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Number of threads that are используется для flushing MemTable in каждый store.
• Introduced in: -

lake_flush_thread_num_на_store

• Default: 0
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Number of threads that are используется для flushing MemTable in каждый store in shared-data mode. Когда это значение установлен в 0, the система использует twice of the CPU core count as the value. Когда это значение установлен в less than 0, the система использует the product of its absolute value and the CPU core count as the value.
• Introduced in: 3.1.12, 3.2.7

max_runnings_transactions_на_txn_map

• Default: 100
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество transactions that can run concurrently in каждый partition.
• Introduced in: -

enable_stream_load_verbose_log

• Default: false
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: Определяет, логировать ли HTTP-запросы и ответы для задач Stream Load.
• Introduced in: v1.5.2

Query engine

scanner_thread_pool_thread_num

• Default: 48
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Количество потоков, которые движок хранения использует для параллельного сканирования томов хранения. Все потоки управляются в пуле потоков.
• Introduced in: -

scanner_thread_pool_queue_size

• Default: 102400
• Type: Int
• Unit: -
• Is mutable: No
• Description: Количество задач сканирования, поддерживаемых движком хранения.
• Introduced in: -

scanner_row_num

• Default: 16384
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество строк, возвращаемых каждым потоком сканирования за одно сканирование.
• Introduced in: -

max_scan_key_num

• Default: 1024
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество ключей сканирования, сегментированных каждым запросом.
• Introduced in: -

max_pushdown_conditions_на_column

• Default: 1024
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество условий, допускающих pushdown в каждом столбце. Если количество условий превышает этот лимит, предикаты не проталкиваются вниз на уровень хранения.
• Introduced in: -

exchg_node_buffer_size_bytes

• Default: 10485760
• Type: Int
• Unit: Bytes
• Is mutable: Yes
• Description: Максимальный размер буфера на принимающем конце exchange node для каждого запроса. Этот параметр конфигурации является мягким лимитом. Обратное давление срабатывает, когда данные отправляются на принимающий конец с избыточной скоростью.
• Introduced in: -

file_descriptor_cache_capacity

• Default: 16384
• Type: Int
• Unit: -
• Is mutable: No
• Description: Количество дескрипторов файлов, которые могут быть кешированы.
• Introduced in: -

min_file_descriptor_number

• Default: 60000
• Type: Int
• Unit: -
• Is mutable: No
• Description: Минимальное количество дескрипторов файлов в процессе BE.
• Introduced in: -

storage_page_cache_limit

• Default: 20%
• Type: String
• Unit: -
• Is mutable: Yes
• Description: Размер PageCache. Может быть указан как размер, например, 20G, 20,480M, 20,971,520K или 21,474,836,480B. Также может быть указан как отношение (процент) к размеру памяти, например, 20%. Действует только когда disable_storage_page_cache установлен в false.
• Introduced in: -

disable_storage_page_cache

• Default: false
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: Булево значение, определяющее, отключить ли PageCache.
  • Когда PageCache включён, Selena кеширует недавно отсканированные данные.
  • PageCache может значительно улучшить производительность запросов, когда похожие запросы выполняются часто.
  • true означает отключение PageCache.
  • Значение по умолчанию этого параметра было изменено с true на false начиная с Selena v1.5.2.
• Introduced in: -

enable_bitmap_index_memory_page_cache

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: Определяет, включить ли кеш памяти для индекса Bitmap. Кеш памяти рекомендуется, если вы хотите использовать индексы Bitmap для ускорения точечных запросов.
• Introduced in: v1.5.2

enable_zonemap_index_memory_page_cache

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: Определяет, enable memory cache for zonemap index. Memory cache рекомендуется if you want to use zonemap indexes to accelerate scan.
• Introduced in: -

enable_string_prefix_zonemap

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: Определяет, enable ZoneMap for string (CHAR/VARCHAR) columns using prefix-based min/max. For non-key string columns, the min/max values are truncated to a fixed prefix length configured by string_prefix_zonemap_prefix_len.
• Introduced in: -

string_prefix_zonemap_prefix_len

• Default: 16
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Prefix length используется для string ZoneMap min/max when enable_string_prefix_zonemap включён.
• Introduced in: -

enable_ordinal_index_memory_page_cache

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: Определяет, enable memory cache for ordinal index. Ordinal index is a mapping from row IDs to data page positions, and it может быть используется для accelerate scans.
• Introduced in: -

fragment_pool_thread_num_min

• Default: 64
• Type: Int
• Unit: Minutes -
• Is mutable: No
• Description: Минимальное количество потоков, используемых для query.
• Introduced in: -

fragment_pool_thread_num_max

• Default: 4096
• Type: Int
• Unit: -
• Is mutable: No
• Description: Максимальное количество потоков, используемых для query.
• Introduced in: -

fragment_pool_queue_size

• Default: 2048
• Type: Int
• Unit: -
• Is mutable: No
• Description: The upна limit of the query number that может быть processed on каждый BE node.
• Introduced in: -

enable_prefetch

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: Булево значение, определяющее, чтобы включить the pre-fetch of the query. true означает enabling pre-fetch, and false означает disabling it.
• Introduced in: -

query_pool_spill_mem_limit_threshold

• Default: 1.0
• Type: Double
• Unit: -
• Is mutable: No
• Description: If automatic spilling включён, when the memory usage of все queries exceeds query_pool memory limit * query_pool_spill_mem_limit_threshold, intermediate result spilling будет triggered.
• Introduced in: v1.5.2

result_buffer_cancelled_interval_time

• Default: 300
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: The время ожидания before BufferControlBlock releases data.
• Introduced in: -

max_memory_sink_batch_count

• Default: 20
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество Scan Cache batches.
• Introduced in: -

scan_context_gc_interval_min

• Default: 5
• Type: Int
• Unit: Minutes
• Is mutable: Yes
• Description: Интервал времени at which для очистки the Scan Context.
• Introduced in: -

path_gc_check_step

• Default: 1000
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество files that может быть scanned continuously каждый time.
• Introduced in: -

path_gc_check_step_interval_ms

• Default: 10
• Type: Int
• Unit: Milliseconds
• Is mutable: Yes
• Description: Интервал времени between file scans.
• Introduced in: -

path_scan_interval_second

• Default: 86400
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Интервал времени at which GC cleans expired data.
• Introduced in: -

pipeline_connector_scan_thread_num_на_cpu

• Default: 8
• Type: Double
• Unit: -
• Is mutable: Yes
• Description: Количество scan threads assigned to Pipeline Connector на CPU core in the BE node. This configuration стал динамическим from v1.5.2 onwards.
• Introduced in: -

pipeline_scan_thread_pool_queue_size

• Default: 102400
• Type: Int
• Unit: -
• Is mutable: No
• Description: Максимум task queue length of SCAN пул потоков for Pipeline execution engine.
• Introduced in: -

pipeline_prepare_thread_pool_thread_num

• Default: 0
• Type: Int
• Unit: -
• Is mutable: No
• Description: Number of threads in the pipeline execution engine PREPARE fragment пул потоков. 0 означает the value is equal to the number of system VCPU core number.
• Introduced in: -

pipeline_prepare_thread_pool_queue_size

• Default: 102400
• Type: Int
• Unit: -
• Is mutable: No
• Description: Максимум queue lenggth of PREPARE fragment пул потоков for Pipeline execution engine.
• Introduced in: -

pipeline_poller_таймаут_guard_ms

• Default: -1
• Type: Int
• Unit: Milliseconds
• Is mutable: Yes
• Description: When this item установлен в greater than 0, if a driver takes longer than pipeline_poller_таймаут_guard_ms for a single dispatch in the poller, then the information of the driver and oнаator is printed.
• Introduced in: -

pipeline_prepare_таймаут_guard_ms

• Default: -1
• Type: Int
• Unit: Milliseconds
• Is mutable: Yes
• Description: When this item установлен в greater than 0, if a plan fragment exceeds pipeline_prepare_таймаут_guard_ms during the PREPARE process, a stack trace of the plan fragment is printed.
• Introduced in: -

lake_tablet_ignore_invalid_delete_predicate

• Default: false
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: Булево значение, определяющее, ignore invalid delete predicates in tablet rowset metadata which may be introduced by logic deletion to a duplicate key table after the column name renamed.
• Introduced in: v2.0.0

max_hdfs_file_handle

• Default: 1000
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество HDFS file descriptors that может быть opened.
• Introduced in: -

object_storage_connect_таймаут_ms

• Default: -1
• Type: Int
• Unit: Milliseconds
• Is mutable: No
• Description: Timeout duration to establish socket connections with object storage. -1 означает to use the default таймаут duration of the SDK configurations.
• Introduced in: v1.5.2

object_storage_request_таймаут_ms

• Default: -1
• Type: Int
• Unit: Milliseconds
• Is mutable: No
• Description: Timeout duration to establish HTTP connections with object storage. -1 означает to use the default таймаут duration of the SDK configurations.
• Introduced in: v1.5.2

parquet_late_materialization_enable

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: No
• Description: Булево значение, определяющее, чтобы включить the late materialization of Parquet reader to improve наformance. true означает enabling late materialization, and false означает disabling it.
• Introduced in: -

parquet_late_materialization_v2_enable

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: No
• Description: Булево значение, определяющее, чтобы включить the late materialization v2 of Parquet reader to improve наformance. true означает enabling late materialization v2, and false означает disabling it. In v1.5.2, only parquet_late_materialization_enable используется, and this variable is deprecated.
• Introduced in: v1.5.2

parquet_page_index_enable

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: No
• Description: Булево значение, определяющее, чтобы включить the pageindex of Parquet file to improve наformance. true означает enabling pageindex, and false означает disabling it.
• Introduced in: v1.5.2

parquet_reader_bloom_filter_enable

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: Булево значение, определяющее, чтобы включить the bloom filter of Parquet file to improve наformance. true означает enabling the bloom filter, and false означает disabling it. Вы можете also control this behavior on session level using the system variable enable_parquet_reader_bloom_filter. Bloom filters in Parquet are maintained at the column level within каждой строки group. If a Parquet file contains bloom filters for certain columns, queries can use predicates on those columns to efficiently skip row groups.
• Introduced in: v1.5.2

io_coalesce_adaptive_lazy_active

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: Based on the selectivity of predicates, adaptively determines whether to combine the I/O of predicate columns and non-predicate columns.
• Introduced in: v1.5.2

hdfs_client_enable_hedged_read

• Default: false
• Type: Boolean
• Unit: -
• Is mutable: No
• Description: Определяет, чтобы включить the hedged read feature.
• Introduced in: v1.5.2

hdfs_client_hedged_read_threadpool_size

• Default: 128
• Type: Int
• Unit: -
• Is mutable: No
• Description: Specifies the size of the Hedged Read пул потоков on your HDFS client. The пул потоков size limits the number of threads to dedicate to the running of hedged reads in your HDFS client. It is equivalent to the dfs.client.hedged.read.threadpool.size parameter in the hdfs-site.xml file of your HDFS cluster.
• Introduced in: v1.5.2

hdfs_client_hedged_read_threshold_millis

• Default: 2500
• Type: Int
• Unit: Milliseconds
• Is mutable: No
• Description: Specifies the number of milliseconds to wait before starting up a hedged read. For example, you have set this parameter to 30. In this situation, if a read from a block has not returned within 30 milliseconds, your HDFS client immediately starts up a new read against a different block replica. It is equivalent to the dfs.client.hedged.read.threshold.millis parameter in the hdfs-site.xml file of your HDFS cluster.
• Introduced in: v1.5.2

query_cache_capacity

• Default: 536870912
• Type: Int
• Unit: Bytes
• Is mutable: No
• Description: The size of the кеш запросов in the BE. The default size is 512 MB. The size cannot be less than 4 MB. Если memory capacity of the BE is insufficient to provision your expected query размер кеша, you can increase the memory capacity of the BE.
• Introduced in: -

enable_json_flat

• Default: false
• Type: Boolean
• Unit:
• Is mutable: Yes
• Description: Определяет, enable the Flat JSON feature. После this feature включён, newly loaded JSON data будет automaticвсеy flattened, improving JSON производительность запросов.
• Introduced in: v1.5.2

json_flat_null_factor

• Default: 0.3
• Type: Double
• Unit:
• Is mutable: Yes
• Description: The proportion of NULL values in the column to extract for Flat JSON. A column will not be extracted if its proportion of NULL value is higher than this threshold. Этот параметр вступает в силу только когда enable_json_flat установлен в true.
• Introduced in: v1.5.2

json_flat_sparsity_factor

• Default: 0.3
• Type: Double
• Unit:
• Is mutable: Yes
• Description: The proportion of columns with the same name for Flat JSON. Extraction is not наformed if the proportion of columns with the same name is lower than this value. Этот параметр вступает в силу только когда enable_json_flat установлен в true.
• Introduced in: v1.5.2

json_flat_column_max

• Default: 100
• Type: Int
• Unit:
• Is mutable: Yes
• Description: Максимальное количество sub-fields that может быть extracted by Flat JSON. Этот параметр вступает в силу только когда enable_json_flat установлен в true.
• Introduced in: v1.5.2

json_flat_create_zonemap

• Default: true
• Type: Boolean
• Unit:
• Is mutable: Yes
• Description: Определяет, create ZoneMaps for flattened JSON sub-columns during write. Этот параметр вступает в силу только когда enable_json_flat установлен в true.
• Introduced in: -

enable_compaction_flat_json

• Default: True
• Type: Boolean
• Unit:
• Is mutable: Yes
• Description: Определяет, enable compaction for Flat JSON data.
• Introduced in: v1.5.2

enable_lazy_dynamic_flat_json

• Default: True
• Type: Boolean
• Unit:
• Is mutable: Yes
• Description: Определяет, enable Lazy Dyamic Flat JSON when a query misses Flat JSON schema in read process. When this item установлен в true, Selena will postpone the Flat JSON oнаation to calculation process instead of read process.
• Introduced in: v1.5.2

jit_lru_cache_size

• Default: 0
• Type: Int
• Unit: Bytes
• Is mutable: Yes
• Description: LRU размер кеша для JIT-компиляции. Представляет фактический размер кеша, если он установлен в значение больше 0. Если он установлен в значение меньше или равно 0, система адаптивно установит кеш, используя формулу jit_lru_cache_size = min(mem_limit*0.01, 1GB) (при этом mem_limit узла должен быть больше или равен 16 ГБ).
• Introduced in: -

Shared-data

starlet_port

• Default: 9070
• Type: Int
• Unit: -
• Is mutable: No
• Description: Дополнительный порт сервиса агента для BE и CN.
• Introduced in: -

starlet_use_star_cache

• Default: false in v1.5.2 and true from v1.5.2
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: Определяет, включить ли Data Cache в shared-data cluster. true означает включение этой функции, а false означает отключение. Значение по умолчанию изменено с false на true начиная с версии v1.5.2.
• Introduced in: v1.5.2

starlet_star_cache_disk_size_наcent

• Default: 80
• Type: Int
• Unit: -
• Is mutable: No
• Description: Процент ёмкости диска, который Data Cache может использовать максимум в shared-data cluster.
• Introduced in: v1.5.2

starlet_fslib_s3client_request_таймаут_ms

• Default: -1
• Type: Int
• Unit: Milliseconds
• Is mutable: No
• Description: An alias of object_storage_request_таймаут_ms. Refer to object_storage_request_таймаут_ms для получения подробностей.
• Introduced in: v1.5.2

starlet_filesystem_instance_cache_capacity

• Default: 10000
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: The cache capacity of starlet filesystem instances.
• Introduced in: v1.5.2

starlet_filesystem_instance_cache_ttl_sec

• Default: 86400
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: The cache время истечения of starlet filesystem instances.
• Introduced in: v1.5.2, 3.4.5

starlet_write_file_with_tag

• Default: false
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: In a shared-data cluster, whether to tag files written to object storage with object storage tags for convenient custom file management.
• Introduced in: v1.5.2

lake_compaction_stream_buffer_size_bytes

• Default: 1048576
• Type: Int
• Unit: Bytes
• Is mutable: Yes
• Description: The reader's remote I/O размер буфера for cloud-native table compaction in a shared-data cluster. Значение по умолчанию — 1MB. Вы можете increase this value to accelerate compaction process.
• Introduced in: v1.5.2

table_schema_service_max_retries

• Default: 3
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество retries for Table Schema Service requests.
• Introduced in: v2.0.0

lake_pk_compaction_max_input_rowsets

• Default: 500
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество input rowsets всеowed in a Primary Key table compaction task in a shared-data cluster. The значение по умолчанию of this parameter is changed from 5 to 1000 since v1.5.2. После the Sized-tiered Compaction policy включён for Primary Key tables (by настройка enable_pk_size_tiered_compaction_strategy to true), Selena does not need to limit the number of rowsets for каждый compaction to reduce write amplification. Therefore, the значение по умолчанию of this parameter is increased.
• Introduced in: v1.5.2

loop_count_wait_fragments_finish

• Default: 2
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Количество loops to be waited when the BE/CN process exits. Each loop is a fixed interval of 10 seconds. Вы можете set it to 0 чтобы отключить the loop wait. Начиная с v1.5.2 onwards, this item изменён на mutable and its значение по умолчанию is changed from 0 to 2.
• Introduced in: v1.5.2

graceful_exit_wait_for_frontend_heartbeat

• Default: false
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: Determines whether to await at least one frontend heartbeat response indicating SHUTDOWN status before completing graceful exit. When enabled, the graceful shutdown process remains active until a SHUTDOWN confirmation is responded via heartbeat RPC, ensuring the frontend has sufficient time to detect the termination state between two regular heartbeat intervals.
• Introduced in: v1.5.2

Data Lake

jdbc_connection_pool_size

• Default: 8
• Type: Int
• Unit: -
• Is mutable: No
• Description: The JDBC пул соединений size. On каждый BE node, queries that access the external table with the same jdbc_url share the same пул соединений.
• Introduced in: -

jdbc_minimum_idle_connections

• Default: 1
• Type: Int
• Unit: -
• Is mutable: No
• Description: Минимальное количество idle connections in the JDBC пул соединений.
• Introduced in: -

jdbc_connection_idle_таймаут_ms

• Default: 600000
• Type: Int
• Unit: Milliseconds
• Is mutable: No
• Description: The length of time after which an idle connection in the JDBC пул соединений expires. Если connection время простоя in the JDBC пул соединений exceeds this value, the пул соединений closes idle connections beyond the number specified in the configuration item jdbc_minimum_idle_connections.
• Introduced in: -

datacache_enable

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: No
• Description: Определяет, enable Data Cache. true означает Data Cache включён, and false означает Data Cache отключён. Значение по умолчанию — changed to true from v1.5.2.
• Introduced in: -

datacache_mem_size

• Default: 0
• Type: String
• Unit: -
• Is mutable: Yes
• Description: Максимум amount of data that может быть cached in memory. Вы можете set it as a наcentage (for example, 10%) or a physical limit (for example, 10G, 21474836480).
• Introduced in: -

datacache_disk_size

• Default: 0
• Type: String
• Unit: -
• Is mutable: Yes
• Description: Максимум amount of data that может быть cached on a single disk. Вы можете set it as a наcentage (for example, 80%) or a physical limit (for example, 2T, 500G). For example, if you use two disks and set the value of the datacache_disk_size parameter as 21474836480 (20 GB), a maximum of 40 GB data может быть cached on these two disks. Значение по умолчанию — 0, which означает that only memory is используется для cache data.
• Introduced in: -

enable_datacache_disk_auto_adjust

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: Определяет, enable Automatic Scaling for Data Cache disk capacity. When it включён, the system dynamicвсеy adjusts the cache capacity based on the current disk usage rate. This item is renamed from datacache_auto_adjust_enable to enable_datacache_disk_auto_adjust from v2.0.0 onwards.
• Introduced in: v1.5.2

disk_high_level

• Default: 90
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: The upна limit of disk usage (in наcentage) that triggers the automatic scaling up of the cache capacity. Когда disk usage exceeds this value, the system automaticвсеy evicts cache data from the Data Cache. Начиная с v1.5.2 onwards, the значение по умолчанию is changed from 80 to 90. This item is renamed from datacache_disk_high_level to disk_high_level from v2.0.0 onwards.
• Introduced in: v1.5.2

disk_safe_level

• Default: 80
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: The safe level of disk usage (in наcentage) for Data Cache. When Data Cache выполняет automatic scaling, the system adjusts the cache capacity with the goal of maintaining disk usage as close to this value as possible. Начиная с v1.5.2 onwards, the значение по умолчанию is changed from 70 to 80. This item is renamed from datacache_disk_safe_level to disk_safe_level from v2.0.0 onwards.
• Introduced in: v1.5.2

disk_low_level

• Default: 60
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: The lower limit of disk usage (in наcentage) that triggers the automatic scaling down of the cache capacity. Когда disk usage remains below this value for the наiod specified in datacache_disk_idle_seconds_for_expansion, and the space всеocated for Data Cache is fully utilized, the система будет automaticвсеy expand the cache capacity by increasing the upна limit. This item is renamed from datacache_disk_low_level to disk_low_level from v2.0.0 onwards.
• Introduced in: v1.5.2

datacache_disk_adjust_interval_seconds

• Default: 10
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: The interval of Data Cache automatic capacity scaling. At regular intervals, the system checks the cache disk usage, and triggers Automatic Scaling when necessary.
• Introduced in: v1.5.2

datacache_disk_idle_seconds_for_expansion

• Default: 7200
• Type: Int
• Unit: Seconds
• Is mutable: Yes
• Description: Минимум время ожидания for Data Cache automatic expansion. Automatic scaling up срабатывает only if the disk usage remains below datacache_disk_low_level for longer than this duration.
• Introduced in: v1.5.2

datacache_min_disk_quota_for_adjustment

• Default: 10737418240
• Type: Int
• Unit: Bytes
• Is mutable: Yes
• Description: Минимум effective capacity for Data Cache Automatic Scaling. Если system tries to adjust the cache capacity to less than this value, the cache capacity будет directly set to 0 to prevent suboptimal наformance caused by frequent cache fills and evictions due to insufficient cache capacity.
• Introduced in: v1.5.2

datacache_block_buffer_enable

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: No
• Description: Определяет, enable Block Buffer to optimize Data Cache efficiency. When Block Buffer включён, the system reads the Block data from the Data Cache and caches it in a temporary buffer, thus reducing the extra overhead caused by frequent cache reads.
• Introduced in: v1.5.2

datacache_eviction_policy

• Default: slru
• Type: String
• Unit: -
• Is mutable: No
• Description: The eviction policy of Data Cache. Допустимые значения: lru (least recently used) and slru (Segmented LRU).
• Introduced in: v1.5.2

datacache_inline_item_count_limit

• Default: 130172
• Type: Int
• Unit: -
• Is mutable: No
• Description: Максимальное количество inline cache items in Data Cache. For some particularly smвсе cache blocks, Data Cache stores them in inline mode, which caches the block data and metadata together in memory.
• Introduced in: v1.5.2

enable_connector_sink_spill

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: Определяет, enable Spilling for writes to external tables. Enabling this feature prevents the generation of a large number of smвсе files as a result of writing to an external table when memory is insufficient. Currently, this feature only supports writing to Iceberg tables.
• Introduced in: v2.0.0

query_max_memory_limit_наcent

• Default: 90
• Type: Int
• Unit: -
• Is mutable: No
• Description: Максимум memory that the Query Pool can use. It is expressed as a наcentage of the Process memory limit.
• Introduced in: v1.5.2

rocksdb_write_buffer_memory_наcent

• Default: 5
• Type: Int64
• Unit: -
• Is mutable: No
• Description: It is the memory наcent of write buffer for meta in rocksdb. default is 5% of system memory. However, aside from this, the final calculated size of the write buffer memory will not be less than 64MB nor exceed 1G (rocksdb_max_write_buffer_memory_bytes)
• Introduced in: v1.5.2

rocksdb_max_write_buffer_memory_bytes

• Default: 1073741824
• Type: Int64
• Unit: -
• Is mutable: No
• Description: It is the max size of the write buffer for meta in rocksdb. Default is 1GB.
• Introduced in: v1.5.2

lake_service_max_concurrency

• Default: 0
• Type: Int
• Unit: -
• Is mutable: No
• Description: Максимум concurrency of RPC requests in a shared-data cluster. Incoming requests будет rejected when this threshold is rкаждыйed. When this item установлен в 0, no limit is imposed on the concurrency.
• Introduced in: -

lake_enable_vertical_compaction_fill_data_cache

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: Определяет, всеow vertical compaction tasks для кеширования data on local disks in a shared-data cluster.
• Introduced in: v1.5.2

lake_clear_corrupted_cache_meta

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: Определяет, всеow the system для очистки the corrupted metaкеш данных in a shared-data cluster.
• Introduced in: v1.5.2

lake_clear_corrupted_cache_data

• Default: false
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: Определяет, всеow the system для очистки the corrupted кеш данных in a shared-data cluster.
• Introduced in: v1.5.2

Other

user_function_dir

• Default: ${SELENA_HOME}/lib/udf
• Type: String
• Unit: -
• Is mutable: No
• Description: The directory используется для store User-defined Functions (UDFs).
• Introduced in: -

default_mv_resource_group_memory_limit

• Default: 0.8
• Type: Double
• Unit:
• Is mutable: Yes
• Description: Максимум memory proportion (на BE node) that может быть used by the materialized view refresh tasks in the resource group default_mv_wg. The значение по умолчанию означает 80% of the memory.
• Introduced in: v1.5.2

default_mv_resource_group_cpu_limit

• Default: 1
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимальное количество CPU cores (на BE node) that может быть used by the materialized view refresh tasks in the resource group default_mv_wg.
• Introduced in: v1.5.2

default_mv_resource_group_concurrency_limit

• Default: 0
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: Максимум concurrency (на BE node) of the materialized view refresh tasks in the resource group default_mv_wg. The значение по умолчанию 0 означает no limits.
• Introduced in: v1.5.2

default_mv_resource_group_spill_mem_limit_threshold

• Default: 0.8
• Type: Double
• Unit: -
• Is mutable: Yes
• Description: The memory usage threshold before a materialized view refresh task in the resource group default_mv_wg triggers intermediate result spilling. The значение по умолчанию означает 80% of the memory.
• Introduced in: v1.5.2

enable_token_check

• Default: true
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: Булево значение, определяющее, чтобы включить the token check. true означает enabling the token check, and false означает disabling it.
• Introduced in: -

smвсе_file_dir

• Default: ${SELENA_HOME}/lib/smвсе_file/
• Type: String
• Unit: -
• Is mutable: No
• Description: The directory используется для store the files downloaded by the file manager.
• Introduced in: -

max_length_for_to_base64

• Default: 200000
• Type: Int
• Unit: Bytes
• Is mutable: No
• Description: Максимум length of input values for the to_base64() function.
• Introduced in: -

max_length_for_bitmap_function

• Default: 1000000
• Type: Int
• Unit: Bytes
• Is mutable: No
• Description: Максимум length of input values for bitmap functions.
• Introduced in: -

report_exec_rpc_request_retry_num

• Default: 10
• Type: Int
• Unit: -
• Is mutable: Yes
• Description: The retry times of rpc request to report exec rpc request to FE. Значение по умолчанию — 10, which означает, что the rpc request будет retried 10 times if it fails only if it's fragment instatnce finish rpc. Report exec rpc request is important for load job, if one fragment instance finish report завершён с ошибкой, the load job будет hang until таймаут.
• Introduced in: -

load_replica_status_check_interval_ms_on_success

• Default: 15000
• Type: Int
• Unit: Milliseconds
• Is mutable: Yes
• Description: The interval that the secondary replica checks it's status on the primary replica if the last check rpc successes.
• Introduced in: 3.5.1

load_replica_status_check_interval_ms_on_failure

• Default: 2000
• Type: Int
• Unit: Milliseconds
• Is mutable: Yes
• Description: The interval that the secondary replica checks it's status on the primary replica if the last check rpc fails.
• Introduced in: 3.5.1

enable_resolve_hostname_to_ip_in_load_error_url

• Default: false
• Type: Boolean
• Unit: -
• Is mutable: Yes
• Description: For error_urls debugging, whether to всеow oнаators to choose between using original hostnames from FE heartbeat or forcing resolution to IP addresses based on their environment needs.
  • true: Resolve hostnames to IPs.
  • false (Default): Keeps the original hostname in the error URL.
• Introduced in: v2.0.0