Конфигурация BE

Некоторые элементы конфигурации BE являются динамическими параметрами, которые можно устанавливать интерактивно, когда узлы BE находятся в сети. Остальные являются статическими параметрами. Статические параметры узла BE можно устанавливать только путем их изменения в соответствующем файле конфигурации be.conf и перезапуска узла BE для вступления изменений в силу.

Просмотр элементов конфигурации BE

Вы можете просмотреть элементы конфигурации BE с помощью следующей команды:

curl http://<BE_IP>:<BE_HTTP_PORT>/varz

Настройка параметров BE

Настройка динамических параметров BE

Вы можете настроить динамический параметр узла BE с помощью команды curl.

curl -XPOST http://be_host:http_port/api/update_config?<configuration_item>=<value>

Настройка статических параметров BE

Вы можете установить статические параметры BE только путем их изменения в соответствующем файле конфигурации be.conf и перезапуска BE, чтобы изменения вступили в силу.

Понимание параметров BE

Сервер

priority_networks

• По умолчанию: Пустая строка
• Тип: String
• Единица: -
• Изменяемый: Нет
• Описание: Объявляет стратегию выбора для серверов, имеющих несколько IP-адресов. Обратите внимание, что не более одного IP-адреса должно соответствовать списку, указанному этим параметром. Значение этого параметра представляет собой список, состоящий из записей, разделенных точками с запятой (;) в нотации CIDR, например 10.10.10.0/24. Если ни один IP-адрес не соответствует записям в этом списке, будет случайно выбран доступный IP-адрес сервера. Начиная с версии 1.5.0, Selena поддерживает развертывание на основе IPv6. Если сервер имеет как IPv4, так и IPv6 адреса, и этот параметр не указан, система по умолчанию использует IPv4 адрес. Вы можете изменить это поведение, установив net_use_ipv6_when_priority_networks_empty в true.
• Введен в: -

net_use_ipv6_when_priority_networks_empty

• По умолчанию: false
• Тип: Boolean
• Единица: -
• Изменяемый: Нет
• Описание: Логическое значение для управления тем, использовать ли IPv6 адреса предпочтительно, когда priority_networks не указан. true указывает на разрешение системе использовать IPv6 адрес предпочтительно, когда сервер, на котором размещен узел, имеет как IPv4, так и IPv6 адреса, и priority_networks не указан.
• Введен в: v3.3.0

mem_limit

• По умолчанию: 90%
• Тип: String
• Единица: -
• Изменяемый: Нет
• Описание: Верхний лимит памяти процесса BE. Вы можете установить его как процент ("80%") или физический лимит ("100G"). Жесткий лимит по умолчанию составляет 90% от размера памяти сервера, а мягкий лимит - 80%. Вам необходимо настроить этот параметр, если вы хотите развернуть Selena с другими ресурсоемкими службами на одном сервере.
• Введен в: -

num_threads_per_core

• По умолчанию: 3
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Количество потоков, запускаемых на каждом ядре процессора.
• Введен в: -

be_http_port

• По умолчанию: 8040
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Порт HTTP-сервера BE.
• Введен в: -

be_http_num_workers

• По умолчанию: 48
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Количество потоков, используемых HTTP-сервером.
• Введен в: -

be_exit_after_disk_write_hang_second

• По умолчанию: 60
• Тип: Int
• Единица: Секунды
• Изменяемый: Нет
• Описание: Время ожидания выхода BE после зависания диска.
• Введен в: -

compress_rowbatches

• По умолчанию: true
• Тип: Boolean
• Единица: -
• Изменяемый: Нет
• Описание: Логическое значение для управления тем, сжимать ли пакеты строк в RPC между BE. true указывает на сжатие пакетов строк, а false указывает на отсутствие их сжатия.
• Введен в: -

serialize_batch

• По умолчанию: false
• Тип: Boolean
• Единица: -
• Изменяемый: Нет
• Описание: Логическое значение для управления тем, сериализовать ли пакеты строк в RPC между BE. true указывает на сериализацию пакетов строк, а false указывает на отсутствие их сериализации.
• Введен в: -

Thrift

be_port

• По умолчанию: 9060
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Порт thrift-сервера BE, который используется для получения запросов от FE.
• Введен в: -

thrift_client_retry_interval_ms

• По умолчанию: 100
• Тип: Int
• Единица: Миллисекунды
• Изменяемый: Да
• Описание: Интервал времени, через который thrift-клиент повторяет попытки.
• Введен в: -

thrift_rpc_timeout_ms

• По умолчанию: 5000
• Тип: Int
• Единица: Миллисекунды
• Изменяемый: Да
• Описание: Тайм-аут для thrift RPC.
• Введен в: -

bRPC

brpc_port

• По умолчанию: 8060
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Порт bRPC BE, который используется для просмотра сетевой статистики bRPC.
• Введен в: -

brpc_num_threads

• По умолчанию: -1
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Количество bthreads в bRPC. Значение -1 указывает на то же количество, что и потоки процессора.
• Введен в: -

brpc_max_body_size

• По умолчанию: 2147483648
• Тип: Int
• Единица: Байты
• Изменяемый: Нет
• Описание: Максимальный размер тела bRPC.
• Введен в: -

Heartbeat

heartbeat_service_port

• По умолчанию: 9050
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Порт службы heartbeat BE, который используется для получения heartbeat от FE.
• Введен в: -

heartbeat_service_thread_count

• По умолчанию: 1
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Количество потоков службы heartbeat BE.
• Введен в: -

Логирование

sys_log_dir

• По умолчанию: ${STARROCKS_HOME}/log
• Тип: String
• Единица: -
• Изменяемый: Нет
• Описание: Каталог, в котором хранятся системные журналы (включая INFO, WARNING, ERROR и FATAL).
• Введен в: -

sys_log_level

• По умолчанию: INFO
• Тип: String
• Единица: -
• Изменяемый: Да (начиная с v3.3.0, v3.2.7 и v3.1.12)
• Описание: Уровни серьезности, по которым классифицируются записи системного журнала. Допустимые значения: INFO, WARN, ERROR и FATAL. Этот элемент был изменен на динамическую конфигурацию начиная с v3.3.0, v3.2.7 и v3.1.12.
• Введен в: -

sys_log_roll_mode

• По умолчанию: SIZE-MB-1024
• Тип: String
• Единица: -
• Изменяемый: Нет
• Описание: Режим, в котором системные журналы сегментируются на роллы журналов. Допустимые значения включают TIME-DAY, TIME-HOUR и SIZE-MB-размер. Значение по умолчанию указывает, что журналы сегментируются на роллы, каждый из которых составляет 1 ГБ.
• Введен в: -

sys_log_roll_num

• По умолчанию: 10
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Количество роллов журналов для резервирования.
• Введен в: -

sys_log_verbose_modules

• По умолчанию:
• Тип: Strings
• Единица: -
• Изменяемый: Нет
• Описание: Модуль журналов для печати. Например, если вы установите этот элемент конфигурации в OLAP, Selena будет печатать только журналы модуля OLAP. Допустимые значения - это пространства имен в BE, включая starrocks, starrocks::debug, starrocks::fs, starrocks::io, starrocks::lake, starrocks::pipeline, starrocks::query_cache, starrocks::stream и starrocks::workgroup.
• Введен в: -

sys_log_verbose_level

• По умолчанию: 10
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Уровень журналов для печати. Этот элемент конфигурации используется для управления выводом журналов, инициированных с помощью VLOG в кодах.
• Введен в: -

log_buffer_level

• По умолчанию: Пустая строка
• Тип: String
• Единица: -
• Изменяемый: Нет
• Описание: Стратегия для сброса журналов. Значение по умолчанию указывает, что журналы буферизуются в памяти. Допустимые значения: -1 и 0. -1 указывает, что журналы не буферизуются в памяти.
• Введен в: -

Отчет статистики

report_task_interval_seconds

• По умолчанию: 10
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Интервал времени для отчета о состоянии задачи. Задача может быть созданием таблицы, удалением таблицы, загрузкой данных или изменением схемы таблицы.
• Введен в: -

report_disk_state_interval_seconds

• По умолчанию: 60
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Интервал времени для отчета о состоянии тома хранения, который включает размер данных в томе.
• Введен в: -

report_tablet_interval_seconds

• По умолчанию: 60
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Интервал времени для отчета о самой обновленной версии всех tablet.
• Введен в: -

report_workgroup_interval_seconds

• По умолчанию: 5
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Интервал времени для отчета о самой обновленной версии всех рабочих групп.
• Введен в: -

status_report_interval

• По умолчанию: 5
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Интервал времени, через который запрос сообщает свой профиль, который может использоваться для сбора статистики запросов FE.
• Введен в: -

periodic_counter_update_period_ms

• По умолчанию: 500
• Тип: Int
• Единица: Миллисекунды
• Изменяемый: Да
• Описание: Интервал времени для сбора статистики Counter.
• Введен в: -

Хранение

primary_key_limit_size

• По умолчанию: 128
• Тип: Int
• Единица: Байты
• Изменяемый: Да
• Описание: Максимальный размер ключевого столбца в таблицах Primary Key.
• Введен в: v2.5

drop_tablet_worker_count

• По умолчанию: 3
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Количество потоков, используемых для удаления tablet.
• Введен в: -

alter_tablet_worker_count

• По умолчанию: 3
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Количество потоков, используемых для Schema Change.
• Введен в: -

clone_worker_count

• По умолчанию: 3
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Количество потоков, используемых для клонирования.
• Введен в: -

storage_medium_migrate_count

• По умолчанию: 3
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Количество потоков, используемых для миграции носителя хранения (с SATA на SSD).
• Введен в: -

check_consistency_worker_count

• По умолчанию: 1
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Количество потоков, используемых для проверки согласованности tablet.
• Введен в: -

upload_worker_count

• По умолчанию: 0
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество потоков для задач загрузки заданий резервного копирования на узле BE. 0 указывает на установку значения равным количеству ядер процессора на машине, где находится BE.
• Введен в: -

download_worker_count

• По умолчанию: 0
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество потоков для задач загрузки заданий восстановления на узле BE. 0 указывает на установку значения равным количеству ядер процессора на машине, где находится BE.
• Введен в: -

make_snapshot_worker_count

• По умолчанию: 5
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество потоков для задач создания снимков на узле BE.
• Введен в: -

release_snapshot_worker_count

• По умолчанию: 5
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество потоков для задач освобождения снимков на узле BE.
• Введен в: -

max_download_speed_kbps

• По умолчанию: 50000
• Тип: Int
• Единица: КБ/Секунда
• Изменяемый: Да
• Описание: Максимальная скорость загрузки каждого HTTP-запроса. Это значение влияет на производительность синхронизации реплик данных между узлами BE.
• Введен в: -

download_low_speed_limit_kbps

• По умолчанию: 50
• Тип: Int
• Единица: КБ/Секунда
• Изменяемый: Да
• Описание: Нижний предел скорости загрузки каждого HTTP-запроса. HTTP-запрос прерывается, когда он постоянно работает с более низкой скоростью, чем это значение, в течение времени, указанного в элементе конфигурации download_low_speed_time.
• Введен в: -

download_low_speed_time

• По умолчанию: 300
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Максимальное время, в течение которого HTTP-запрос может работать со скоростью загрузки ниже предела. HTTP-запрос прерывается, когда он постоянно работает с более низкой скоростью, чем значение download_low_speed_limit_kbps, в течение времени, указанного в этом элементе конфигурации.
• Введен в: -

memory_limitation_per_thread_for_schema_change

• По умолчанию: 2
• Тип: Int
• Единица: ГБ
• Изменяемый: Да
• Описание: Максимальный размер памяти, разрешенный для каждой задачи изменения схемы.
• Введен в: -

update_cache_expire_sec

• По умолчанию: 360
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Время истечения Update Cache.
• Введен в: -

file_descriptor_cache_clean_interval

• По умолчанию: 3600
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Интервал времени для очистки дескрипторов файлов, которые не использовались в течение определенного периода времени.
• Введен в: -

disk_stat_monitor_interval

• По умолчанию: 5
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Интервал времени для мониторинга состояния здоровья дисков.
• Введен в: -

replication_threads

• По умолчанию: 0
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество потоков, используемых для репликации. 0 указывает на установку количества потоков в четыре раза больше количества ядер процессора BE.
• Введен в: v3.3.5

replication_max_speed_limit_kbps

• По умолчанию: 50000
• Тип: Int
• Единица: КБ/с
• Изменяемый: Да
• Описание: Максимальная скорость каждого потока репликации.
• Введен в: v3.3.5

replication_min_speed_limit_kbps

• По умолчанию: 50
• Тип: Int
• Единица: КБ/с
• Изменяемый: Да
• Описание: Минимальная скорость каждого потока репликации.
• Введен в: v3.3.5

replication_min_speed_time_seconds

• По умолчанию: 300
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Продолжительность времени, разрешенная для потока репликации быть ниже минимальной скорости. Репликация завершится неудачей, если время, когда фактическая скорость ниже replication_min_speed_limit_kbps, превышает это значение.
• Введен в: v3.3.5

clear_expired_replication_snapshots_interval_seconds

• По умолчанию: 3600
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Интервал времени, через который система очищает истекшие снимки, оставшиеся от аномальных репликаций.
• Введен в: v3.3.5

unused_rowset_monitor_interval

• По умолчанию: 30
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Интервал времени для очистки истекших rowset.
• Введен в: -

storage_root_path

• По умолчанию: ${STARROCKS_HOME}/storage
• Тип: String
• Единица: -
• Изменяемый: Нет
• Описание: Каталог и носитель тома хранения. Пример: /data1,medium:hdd;/data2,medium:ssd.
  • Несколько томов разделяются точками с запятой (;).
  • Если носитель хранения - SSD, добавьте ,medium:ssd в конце каталога.
  • Если носитель хранения - HDD, добавьте ,medium:hdd в конце каталога.
• Введен в: -

max_percentage_of_error_disk

• По умолчанию: 0
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальный процент ошибок, который допустим в томе хранения, прежде чем соответствующий узел BE завершит работу.
• Введен в: -

default_num_rows_per_column_file_block

• По умолчанию: 1024
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество строк, которые могут храниться в каждом блоке строк.
• Введен в: -

max_tablet_num_per_shard

• По умолчанию: 1024
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Максимальное количество tablet в каждом сегменте. Этот элемент конфигурации используется для ограничения количества дочерних каталогов tablet под каждым каталогом хранения.
• Введен в: -

pending_data_expire_time_sec

• По умолчанию: 1800
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Время истечения ожидающих данных в движке хранения.
• Введен в: -

inc_rowset_expired_sec

• По умолчанию: 1800
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Время истечения входящих данных. Этот элемент конфигурации используется в инкрементальном клонировании.
• Введен в: -

tablet_rowset_stale_sweep_time_sec

• По умолчанию: 1800
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Интервал времени для очистки устаревших rowset в tablet.
• Введен в: -

max_garbage_sweep_interval

• По умолчанию: 3600
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Максимальный интервал времени для сборки мусора на томах хранения. Эта конфигурация изменена на динамическую начиная с v3.0.
• Введен в: -

min_garbage_sweep_interval

• По умолчанию: 180
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Минимальный интервал времени для сборки мусора на томах хранения. Эта конфигурация изменена на динамическую начиная с v3.0.
• Введен в: -

snapshot_expire_time_sec

• По умолчанию: 172800
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Время истечения файлов снимков.
• Введен в: -

trash_file_expire_time_sec

• По умолчанию: 86400
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Интервал времени для очистки файлов корзины. Значение по умолчанию было изменено с 259,200 на 86,400 начиная с v2.5.17, v3.0.9 и v3.1.6.
• Введен в: -

compact_threads

• По умолчанию: 4
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество потоков, используемых для параллельных задач compaction. Эта конфигурация изменена на динамическую начиная с v3.1.7 и v3.2.2.
• Введен в: v3.0.0

base_compaction_check_interval_seconds

• По умолчанию: 60
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Интервал времени опроса потока для Base Compaction.
• Введен в: -

min_base_compaction_num_singleton_deltas

• По умолчанию: 5
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Минимальное количество сегментов, которое запускает Base Compaction.
• Введен в: -

max_base_compaction_num_singleton_deltas

• По умолчанию: 100
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество сегментов, которые могут быть уплотнены в каждом Base Compaction.
• Введен в: -

base_compaction_num_threads_per_disk

• По умолчанию: 1
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Количество потоков, используемых для Base Compaction на каждом томе хранения.
• Введен в: -

base_cumulative_delta_ratio

• По умолчанию: 0.3
• Тип: Double
• Единица: -
• Изменяемый: Да
• Описание: Отношение размера кумулятивного файла к размеру базового файла. Достижение этого отношения является одним из условий, которые запускают Base Compaction.
• Введен в: -

base_compaction_interval_seconds_since_last_operation

• По умолчанию: 86400
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Интервал времени с последнего Base Compaction. Этот элемент конфигурации является одним из условий, которые запускают Base Compaction.
• Введен в: -

cumulative_compaction_check_interval_seconds

• По умолчанию: 1
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Интервал времени опроса потока для Cumulative Compaction.
• Введен в: -

min_cumulative_compaction_num_singleton_deltas

• По умолчанию: 5
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Минимальное количество сегментов для запуска Cumulative Compaction.
• Введен в: -

max_cumulative_compaction_num_singleton_deltas

• По умолчанию: 1000
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество сегментов, которые могут быть объединены в одном Cumulative Compaction. Вы можете уменьшить это значение, если во время compaction происходит OOM.
• Введен в: -

cumulative_compaction_num_threads_per_disk

• По умолчанию: 1
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Количество потоков Cumulative Compaction на диск.
• Введен в: -

max_compaction_candidate_num

• По умолчанию: 40960
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество кандидатов tablet для compaction. Если значение слишком велико, это приведет к высокому использованию памяти и высокой нагрузке на процессор.
• Введен в: -

update_compaction_check_interval_seconds

• По умолчанию: 10
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Интервал времени для проверки compaction для таблиц Primary Key.
• Введен в: -

update_compaction_num_threads_per_disk

• По умолчанию: 1
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Количество потоков Compaction на диск для таблиц Primary Key.
• Введен в: -

update_compaction_per_tablet_min_interval_seconds

• По умолчанию: 120
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Минимальный интервал времени, через который запускается compaction для каждого tablet в таблице Primary Key.
• Введен в: -

max_update_compaction_num_singleton_deltas

• По умолчанию: 1000
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество rowset, которые могут быть объединены в одном Compaction для таблиц Primary Key.
• Введен в: -

update_compaction_size_threshold

• По умолчанию: 268435456
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Compaction Score таблиц Primary Key рассчитывается на основе размера файла, что отличается от других типов таблиц. Этот параметр может использоваться для того, чтобы сделать Compaction Score таблиц Primary Key похожим на таковой у других типов таблиц, что облегчает понимание пользователями.
• Введен в: -

update_compaction_result_bytes

• По умолчанию: 1073741824
• Тип: Int
• Единица: Байты
• Изменяемый: Да
• Описание: Максимальный размер результата одного compaction для таблиц Primary Key.
• Введен в: -

update_compaction_delvec_file_io_amp_ratio

• По умолчанию: 2
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Используется для управления приоритетом compaction для rowset, которые содержат файлы Delvec в таблицах Primary Key. Чем больше значение, тем выше приоритет.
• Введен в: -

update_compaction_ratio_threshold

• По умолчанию: 0.5
• Тип: Double
• Единица: -
• Изменяемый: Да
• Описание: Максимальная доля данных, которую может объединить compaction для таблицы Primary Key в кластере с разделяемыми данными. Рекомендуется уменьшить это значение, если один tablet становится чрезмерно большим.
• Введен в: v3.1.5

repair_compaction_interval_seconds

• По умолчанию: 600
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Интервал времени для опроса потоков Repair Compaction.
• Введен в: -

manual_compaction_threads

• По умолчанию: 4
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Количество потоков для Manual Compaction.
• Введен в: -

min_compaction_failure_interval_sec

• По умолчанию: 120
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Минимальный интервал времени, через который может быть запланирован compaction tablet с момента предыдущего сбоя compaction.
• Введен в: -

min_cumulative_compaction_failure_interval_sec

• По умолчанию: 30
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Минимальный интервал времени, через который Cumulative Compaction повторяет попытки при сбоях.
• Введен в: -

max_compaction_concurrency

• По умолчанию: -1
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальная параллельность compaction (включая как Base Compaction, так и Cumulative Compaction). Значение -1 указывает, что никаких ограничений на параллельность не накладывается. 0 указывает на отключение compaction. Этот параметр изменяемый, когда включена Event-based Compaction Framework.
• Введен в: -

compaction_trace_threshold

• По умолчанию: 60
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Пороговое время для каждого compaction. Если compaction занимает больше времени, чем пороговое время, Selena печатает соответствующую трассировку.
• Введен в: -

compaction_memory_limit_per_worker

• По умолчанию: 2147483648
• Тип: Int
• Единица: Байты
• Изменяемый: Нет
• Описание: Максимальный размер памяти, разрешенный для каждого потока Compaction.
• Введен в: -

enable_rowset_verify

• По умолчанию: false
• Тип: Boolean
• Единица: -
• Изменяемый: Да
• Описание: Проверять ли правильность сгенерированных rowset. Когда включено, правильность сгенерированных rowset будет проверяться после Compaction и Schema Change.
• Введен в: -

vertical_compaction_max_columns_per_group

• По умолчанию: 5
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Максимальное количество столбцов на группу Vertical Compactions.
• Введен в: -

enable_event_based_compaction_framework

• По умолчанию: true
• Тип: Boolean
• Единица: -
• Изменяемый: Нет
• Описание: Включать ли Event-based Compaction Framework. true указывает, что Event-based Compaction Framework включена, а false указывает, что она отключена. Включение Event-based Compaction Framework может значительно снизить накладные расходы compaction в сценариях, где много tablet или один tablet имеет большое количество данных.
• Введен в: -

enable_size_tiered_compaction_strategy

• По умолчанию: true
• Тип: Boolean
• Единица: -
• Изменяемый: Нет
• Описание: Включать ли политику Size-tiered Compaction (исключая таблицы Primary Key). true указывает, что стратегия Size-tiered Compaction включена, а false указывает, что она отключена.
• Введен в: -

enable_pk_size_tiered_compaction_strategy

• По умолчанию: true
• Тип: Boolean
• Единица: -
• Изменяемый: Нет
• Описание: Включать ли политику Size-tiered Compaction для таблиц Primary Key. true указывает, что стратегия Size-tiered Compaction включена, а false указывает, что она отключена.
• Введен в: Этот элемент вступает в силу для кластеров с разделяемыми данными начиная с v3.2.4 и v3.1.10, и для кластеров без разделения данных начиная с v3.2.5 и v3.1.10.

size_tiered_min_level_size

• По умолчанию: 131072
• Тип: Int
• Единица: Байты
• Изменяемый: Да
• Описание: Размер данных минимального уровня в политике Size-tiered Compaction. Rowset меньше этого значения немедленно запускают compaction данных.
• Введен в: -

size_tiered_level_multiple

• По умолчанию: 5
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Кратность размера данных между двумя смежными уровнями в политике Size-tiered Compaction.
• Введен в: -

size_tiered_level_multiple_dupkey

• По умолчанию: 10
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: В политике Size-tiered Compaction кратность разности объема данных между двумя соседними уровнями для таблиц Duplicate Key.
• Введен в: -

size_tiered_level_num

• По умолчанию: 7
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Количество уровней для политики Size-tiered Compaction. Для каждого уровня резервируется не более одного rowset. Поэтому в стабильном состоянии существует не более rowset, чем количество уровней, указанное в этом элементе конфигурации.
• Введен в: -

enable_check_string_lengths

• По умолчанию: true
• Тип: Boolean
• Единица: -
• Изменяемый: Нет
• Описание: Проверять ли длину данных во время загрузки для решения сбоев compaction, вызванных данными VARCHAR, выходящими за границы.
• Введен в: -

max_row_source_mask_memory_bytes

• По умолчанию: 209715200
• Тип: Int
• Единица: Байты
• Изменяемый: Нет
• Описание: Максимальный размер памяти буфера маски источника строк. Когда буфер больше этого значения, данные будут сохранены во временный файл на диске. Это значение должно быть установлено ниже значения compaction_mem_limit.
• Введен в: -

memory_maintenance_sleep_time_s

• По умолчанию: 10
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Интервал времени, через который запускается ColumnPool GC. Selena выполняет GC периодически и возвращает освобожденную память операционной системе.
• Введен в: -

load_process_max_memory_limit_bytes

• По умолчанию: 107374182400
• Тип: Int
• Единица: Байты
• Изменяемый: Нет
• Описание: Максимальный лимит размера ресурсов памяти, которые могут быть заняты всеми процессами загрузки на узле BE.
• Введен в: -

load_process_max_memory_limit_percent

• По умолчанию: 30
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Мягкий лимит (в процентах) ресурсов памяти, которые могут быть заняты всеми процессами загрузки на узле BE.
• Введен в: -

load_process_max_memory_hard_limit_ratio

• По умолчанию: 2
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Жесткий лимит (соотношение) ресурсов памяти, которые могут быть заняты всеми процессами загрузки на узле BE. Когда enable_new_load_on_memory_limit_exceeded установлен в false, и потребление памяти всех процессов загрузки превышает load_process_max_memory_limit_percent * load_process_max_memory_hard_limit_ratio, новые процессы загрузки будут отклонены.
• Введен в: v3.3.2

enable_new_load_on_memory_limit_exceeded

• По умолчанию: false
• Тип: Boolean
• Единица: -
• Изменяемый: Да
• Описание: Разрешать ли новые процессы загрузки при достижении жесткого лимита ресурсов памяти. true указывает, что новые процессы загрузки будут разрешены, а false указывает, что они будут отклонены.
• Введен в: v3.3.2

sync_tablet_meta

• По умолчанию: false
• Тип: Boolean
• Единица: -
• Изменяемый: Да
• Описание: Логическое значение для управления тем, включать ли синхронизацию метаданных tablet. true указывает на включение синхронизации, а false указывает на ее отключение.
• Введен в: -

storage_flood_stage_usage_percent

• По умолчанию: 95
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Жесткий лимит процента использования хранилища во всех каталогах BE. Если использование хранилища (в процентах) каталога хранения BE превышает это значение и оставшееся место для хранения меньше storage_flood_stage_left_capacity_bytes, задания Load и Restore отклоняются. Вам необходимо установить этот элемент вместе с элементом конфигурации FE storage_usage_hard_limit_percent, чтобы конфигурации вступили в силу.
• Введен в: -

storage_flood_stage_left_capacity_bytes

• По умолчанию: 107374182400
• Тип: Int
• Единица: Байты
• Изменяемый: Да
• Описание: Жесткий лимит оставшегося места для хранения во всех каталогах BE. Если оставшееся место для хранения каталога хранения BE меньше этого значения и использование хранилища (в процентах) превышает storage_flood_stage_usage_percent, задания Load и Restore отклоняются. Вам необходимо установить этот элемент вместе с элементом конфигурации FE storage_usage_hard_limit_reserve_bytes, чтобы конфигурации вступили в силу.
• Введен в: -

tablet_meta_checkpoint_min_new_rowsets_num

• По умолчанию: 10
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Минимальное количество rowset для создания с момента последней TabletMeta Checkpoint.
• Введен в: -

tablet_meta_checkpoint_min_interval_secs

• По умолчанию: 600
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Интервал времени опроса потока для TabletMeta Checkpoint.
• Введен в: -

tablet_map_shard_size

• По умолчанию: 32
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Размер сегмента карты tablet. Значение должно быть степенью двойки.
• Введен в: -

tablet_max_versions

• По умолчанию: 1000
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество версий, разрешенных на tablet. Если количество версий превышает это значение, новые запросы записи завершатся неудачей.
• Введен в: -

tablet_max_pending_versions

• По умолчанию: 1000
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество ожидающих версий, которые допустимы на Primary Key tablet. Ожидающие версии относятся к версиям, которые зафиксированы, но еще не применены.
• Введен в: -

tablet_stat_cache_update_interval_second

• По умолчанию: 300
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Интервал времени, через который обновляется Tablet Stat Cache.
• Введен в: -

enable_bitmap_union_disk_format_with_set

• По умолчанию: false
• Тип: Boolean
• Единица: -
• Изменяемый: Да
• Описание: Логическое значение для управления тем, включать ли новый формат хранения типа BITMAP, который может улучшить производительность bitmap_union. true указывает на включение нового формата хранения, а false указывает на его отключение.
• Введен в: -

pindex_major_compaction_limit_per_disk

• По умолчанию: 1
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальная параллельность compaction на диске. Это решает проблему неравномерного ввода-вывода между дисками из-за compaction. Эта проблема может вызвать чрезмерно высокий ввод-вывод для определенных дисков.
• Введен в: v3.0.9

Загрузка

push_worker_count_normal_priority

• По умолчанию: 3
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Количество потоков, используемых для обработки задачи загрузки с приоритетом NORMAL.
• Введен в: -

push_worker_count_high_priority

• По умолчанию: 3
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Количество потоков, используемых для обработки задачи загрузки с приоритетом HIGH.
• Введен в: -

transaction_publish_version_worker_count

• По умолчанию: 0
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество потоков, используемых для публикации версии. Когда это значение установлено меньше или равно 0, система использует количество ядер процессора в качестве значения, чтобы избежать недостаточных ресурсов потоков, когда параллельность импорта высока, но используется только фиксированное количество потоков. Начиная с v2.5, значение по умолчанию было изменено с 8 на 0.
• Введен в: -

clear_transaction_task_worker_count

• По умолчанию: 1
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Количество потоков, используемых для очистки транзакций.
• Введен в: -

load_data_reserve_hours

• По умолчанию: 4
• Тип: Int
• Единица: Часы
• Изменяемый: Нет
• Описание: Время резервирования для файлов, созданных небольшими загрузками.
• Введен в: -

load_error_log_reserve_hours

• По умолчанию: 48
• Тип: Int
• Единица: Часы
• Изменяемый: Да
• Описание: Время, в течение которого сохраняются журналы загрузки данных.
• Введен в: -

number_tablet_writer_threads

• По умолчанию: 16
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Количество потоков, используемых для Stream Load. Эта конфигурация изменена на динамическую начиная с v3.1.7.
• Введен в: -

streaming_load_max_mb

• По умолчанию: 102400
• Тип: Int
• Единица: МБ
• Изменяемый: Да
• Описание: Максимальный размер файла, который может быть потоково загружен в Selena. Начиная с v3.0, значение по умолчанию было изменено с 10240 на 102400.
• Введен в: -

streaming_load_max_batch_size_mb

• По умолчанию: 100
• Тип: Int
• Единица: МБ
• Изменяемый: Да
• Описание: Максимальный размер JSON-файла, который может быть потоково загружен в Selena.
• Введен в: -

streaming_load_rpc_max_alive_time_sec

• По умолчанию: 1200
• Тип: Int
• Единица: Секунды
• Изменяемый: Нет
• Описание: Тайм-аут RPC для Stream Load.
• Введен в: -

write_buffer_size

• По умолчанию: 104857600
• Тип: Int
• Единица: Байты
• Изменяемый: Да
• Описание: Размер буфера MemTable в памяти. Этот элемент конфигурации является порогом для запуска сброса.
• Введен в: -

load_process_max_memory_limit_bytes

• По умолчанию: 107374182400
• Тип: Int
• Единица: Байты
• Изменяемый: Нет
• Описание: Максимальный лимит размера ресурсов памяти, которые могут быть заняты всеми процессами загрузки на узле BE.
• Введен в: -

txn_commit_rpc_timeout_ms (Устарело)

• По умолчанию: 60000
• Тип: Int
• Единица: Миллисекунды
• Изменяемый: Да
• Описание: Тайм-аут для RPC фиксации транзакции. Начиная с v3.2.0, этот параметр устарел.
• Введен в: -

max_consumer_num_per_group

• По умолчанию: 3
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество потребителей в группе потребителей Routine Load.
• Введен в: -

flush_thread_num_per_store

• По умолчанию: 2
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Количество потоков, используемых для сброса MemTable в каждом хранилище.
• Введен в: -

lake_flush_thread_num_per_store

• По умолчанию: 0
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Количество потоков, используемых для сброса MemTable в каждом хранилище в режиме разделяемых данных. Когда это значение установлено в 0, система использует удвоенное количество ядер процессора в качестве значения. Когда это значение установлено меньше 0, система использует произведение его абсолютного значения и количества ядер процессора в качестве значения.
• Введен в: 3.1.12, 3.2.7

max_runnings_transactions_per_txn_map

• По умолчанию: 100
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество транзакций, которые могут выполняться одновременно в каждом разделе.
• Введен в: -

enable_stream_load_verbose_log

• По умолчанию: false
• Тип: Boolean
• Единица: -
• Изменяемый: Да
• Описание: Указывает, логировать ли HTTP-запросы и ответы для заданий Stream Load.
• Введен в: v2.5.17, v3.0.9, v3.1.6, v3.2.1

Движок запросов

scanner_thread_pool_thread_num

• По умолчанию: 48
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Количество потоков, которые движок хранения использует для параллельного сканирования томов хранения. Все потоки управляются в пуле потоков.
• Введен в: -

scanner_thread_pool_queue_size

• По умолчанию: 102400
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Количество задач сканирования, поддерживаемых движком хранения.
• Введен в: -

scanner_row_num

• По умолчанию: 16384
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество строк, возвращаемое каждым потоком сканирования в сканировании.
• Введен в: -

max_scan_key_num

• По умолчанию: 1024
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество ключей сканирования, сегментированных каждым запросом.
• Введен в: -

max_pushdown_conditions_per_column

• По умолчанию: 1024
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество условий, которые разрешают pushdown в каждом столбце. Если количество условий превышает этот лимит, предикаты не проталкиваются на уровень хранения.
• Введен в: -

exchg_node_buffer_size_bytes

• По умолчанию: 10485760
• Тип: Int
• Единица: Байты
• Изменяемый: Да
• Описание: Максимальный размер буфера на принимающей стороне узла обмена для каждого запроса. Этот элемент конфигурации является мягким лимитом. Обратное давление запускается, когда данные отправляются на принимающую сторону с чрезмерной скоростью.
• Введен в: -

file_descriptor_cache_capacity

• По умолчанию: 16384
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Количество дескрипторов файлов, которые могут быть кэшированы.
• Введен в: -

min_file_descriptor_number

• По умолчанию: 60000
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Минимальное количество дескрипторов файлов в процессе BE.
• Введен в: -

index_stream_cache_capacity

• По умолчанию: 10737418240
• Тип: Int
• Единица: Байты
• Изменяемый: Нет
• Описание: Емкость кэша для статистической информации BloomFilter, Min и Max.
• Введен в: -

storage_page_cache_limit

• По умолчанию: 20%
• Тип: String
• Единица: -
• Изменяемый: Да
• Описание: Размер PageCache. Он может быть указан как размер, например, 20G, 20,480M, 20,971,520K или 21,474,836,480B. Он также может быть указан как отношение (процент) к размеру памяти, например, 20%. Он действует только когда disable_storage_page_cache установлен в false.
• Введен в: -

disable_storage_page_cache

• По умолчанию: false
• Тип: Boolean
• Единица: -
• Изменяемый: Да
• Описание: Логическое значение для управления тем, отключать ли PageCache.
  • Когда PageCache включен, Selena кэширует недавно отсканированные данные.
  • PageCache может значительно улучшить производительность запросов, когда похожие запросы повторяются часто.
  • true указывает на отключение PageCache.
  • Значение по умолчанию этого элемента было изменено с true на false начиная с Selena v2.4.
• Введен в: -

fragment_pool_thread_num_min

• По умолчанию: 64
• Тип: Int
• Единица: Минуты -
• Изменяемый: Нет
• Описание: Минимальное количество потоков, используемых для запроса.
• Введен в: -

fragment_pool_thread_num_max

• По умолчанию: 4096
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Максимальное количество потоков, используемых для запроса.
• Введен в: -

fragment_pool_queue_size

• По умолчанию: 2048
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Верхний лимит количества запросов, которые могут быть обработаны на каждом узле BE.
• Введен в: -

enable_prefetch

• По умолчанию: true
• Тип: Boolean
• Единица: -
• Изменяемый: Да
• Описание: Логическое значение для управления тем, включать ли предварительную выборку запроса. true указывает на включение предварительной выборки, а false указывает на ее отключение.
• Введен в: -

query_pool_spill_mem_limit_threshold

• По умолчанию: 1.0
• Тип: Double
• Единица: -
• Изменяемый: Нет
• Описание: Если автоматическое разливание включено, когда использование памяти всех запросов превышает query_pool memory limit * query_pool_spill_mem_limit_threshold, будет запущено разливание промежуточных результатов.
• Введен в: v3.2.7

result_buffer_cancelled_interval_time

• По умолчанию: 300
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Время ожидания перед тем, как BufferControlBlock освободит данные.
• Введен в: -

max_memory_sink_batch_count

• По умолчанию: 20
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество пакетов Scan Cache.
• Введен в: -

scan_context_gc_interval_min

• По умолчанию: 5
• Тип: Int
• Единица: Минуты
• Изменяемый: Да
• Описание: Интервал времени для очистки Scan Context.
• Введен в: -

path_gc_check_step

• По умолчанию: 1000
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество файлов, которые могут быть отсканированы непрерывно каждый раз.
• Введен в: -

path_gc_check_step_interval_ms

• По умолчанию: 10
• Тип: Int
• Единица: Миллисекунды
• Изменяемый: Да
• Описание: Интервал времени между сканированиями файлов.
• Введен в: -

path_scan_interval_second

• По умолчанию: 86400
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Интервал времени, через который GC очищает истекшие данные.
• Введен в: -

pipeline_connector_scan_thread_num_per_cpu

• По умолчанию: 8
• Тип: Double
• Единица: -
• Изменяемый: Да
• Описание: Количество потоков сканирования, назначенных Pipeline Connector на ядро процессора в узле BE. Эта конфигурация изменена на динамическую начиная с v3.1.7.
• Введен в: -

max_hdfs_file_handle

• По умолчанию: 1000
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество дескрипторов файлов HDFS, которые могут быть открыты.
• Введен в: -

object_storage_connect_timeout_ms

• По умолчанию: -1
• Тип: Int
• Единица: Миллисекунды
• Изменяемый: Нет
• Описание: Продолжительность тайм-аута для установления соединений сокетов с объектным хранилищем. -1 указывает на использование продолжительности тайм-аута по умолчанию конфигураций SDK.
• Введен в: v3.0.9

object_storage_request_timeout_ms

• По умолчанию: -1
• Тип: Int
• Единица: Миллисекунды
• Изменяемый: Нет
• Описание: Продолжительность тайм-аута для установления HTTP-соединений с объектным хранилищем. -1 указывает на использование продолжительности тайм-аута по умолчанию конфигураций SDK.
• Введен в: v3.0.9

parquet_late_materialization_enable

• По умолчанию: true
• Тип: Boolean
• Единица: -
• Изменяемый: Нет
• Описание: Логическое значение для управления тем, включать ли позднюю материализацию Parquet reader для улучшения производительности. true указывает на включение поздней материализации, а false указывает на ее отключение.
• Введен в: -

parquet_late_materialization_v2_enable

• По умолчанию: true
• Тип: Boolean
• Единица: -
• Изменяемый: Нет
• Описание: Логическое значение для управления тем, включать ли позднюю материализацию v2 Parquet reader для улучшения производительности. true указывает на включение поздней материализации v2, а false указывает на ее отключение. В v3.3 используется только parquet_late_materialization_enable, и эта переменная устарела.
• Введен в: v3.2

parquet_page_index_enable

• По умолчанию: true
• Тип: Boolean
• Единица: -
• Изменяемый: Нет
• Описание: Логическое значение для управления тем, включать ли pageindex файла Parquet для улучшения производительности. true указывает на включение pageindex, а false указывает на его отключение.
• Введен в: v3.3

io_coalesce_adaptive_lazy_active

• По умолчанию: true
• Тип: Boolean
• Единица: -
• Изменяемый: Да
• Описание: На основе селективности предикатов адаптивно определяет, объединять ли ввод-вывод столбцов предикатов и столбцов без предикатов.
• Введен в: v3.2

hdfs_client_enable_hedged_read

• По умолчанию: false
• Тип: Boolean
• Единица: -
• Изменяемый: Нет
• Описание: Указывает, включать ли функцию hedged read.
• Введен в: v3.0

hdfs_client_hedged_read_threadpool_size

• По умолчанию: 128
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Указывает размер пула потоков Hedged Read на вашем HDFS-клиенте. Размер пула потоков ограничивает количество потоков, выделенных для выполнения hedged reads в вашем HDFS-клиенте. Это эквивалентно параметру dfs.client.hedged.read.threadpool.size в файле hdfs-site.xml вашего HDFS-кластера.
• Введен в: v3.0

hdfs_client_hedged_read_threshold_millis

• По умолчанию: 2500
• Тип: Int
• Единица: Миллисекунды
• Изменяемый: Нет
• Описание: Указывает количество миллисекунд ожидания перед запуском hedged read. Например, вы установили этот параметр в 30. В этой ситуации, если чтение из блока не вернулось в течение 30 миллисекунд, ваш HDFS-клиент немедленно запускает новое чтение против другой реплики блока. Это эквивалентно параметру dfs.client.hedged.read.threshold.millis в файле hdfs-site.xml вашего HDFS-кластера.
• Введен в: v3.0

query_cache_capacity

• По умолчанию: 536870912
• Тип: Int
• Единица: Байты
• Изменяемый: Нет
• Описание: Размер кэша запросов в BE. Размер по умолчанию составляет 512 МБ. Размер не может быть меньше 4 МБ. Если емкости памяти BE недостаточно для обеспечения ожидаемого размера кэша запросов, вы можете увеличить емкость памяти BE.
• Введен в: -

enable_json_flat

• По умолчанию: false
• Тип: Boolean
• Единица:
• Изменяемый: Да
• Описание: Включать ли функцию Flat JSON. После включения этой функции вновь загруженные данные JSON будут автоматически сглажены, улучшая производительность запросов JSON.
• Введен в: v3.3.0

json_flat_null_factor

• По умолчанию: 0.3
• Тип: Double
• Единица:
• Изменяемый: Да
• Описание: Доля значений NULL в столбце для извлечения для Flat JSON. Столбец не будет извлечен, если его доля значений NULL выше этого порога. Этот параметр действует только когда enable_json_flat установлен в true.
• Введен в: v3.3.0

json_flat_sparsity_factor

• По умолчанию: 0.9
• Тип: Double
• Единица:
• Изменяемый: Да
• Описание: Доля столбцов с одинаковым именем для Flat JSON. Извлечение не выполняется, если доля столбцов с одинаковым именем ниже этого значения. Этот параметр действует только когда enable_json_flat установлен в true.
• Введен в: v3.3.0

json_flat_column_max

• По умолчанию: 100
• Тип: Int
• Единица:
• Изменяемый: Да
• Описание: Максимальное количество подполей, которые могут быть извлечены Flat JSON. Этот параметр действует только когда enable_json_flat установлен в true.
• Введен в: v3.3.0

enable_compaction_flat_json

• По умолчанию: True
• Тип: Boolean
• Единица:
• Изменяемый: Да
• Описание: Включать ли compaction для данных Flat JSON.
• Введен в: v3.3.3

enable_lazy_dynamic_flat_json

• По умолчанию: True
• Тип: Boolean
• Единица:
• Изменяемый: Да
• Описание: Включать ли Lazy Dyamic Flat JSON, когда запрос пропускает схему Flat JSON в процессе чтения. Когда этот элемент установлен в true, Selena отложит операцию Flat JSON до процесса вычисления вместо процесса чтения.
• Введен в: v3.3.3

jit_lru_cache_size

• По умолчанию: 0
• Тип: Int
• Единица: Байты
• Изменяемый: Да
• Описание: Размер LRU кэша для JIT-компиляции. Он представляет фактический размер кэша, если установлен больше 0. Если установлен меньше или равно 0, система адаптивно установит кэш, используя формулу jit_lru_cache_size = min(mem_limit*0.01, 1GB) (при этом mem_limit узла должен быть больше или равен 16 ГБ).
• Введен в: -

Разделяемые данные

starlet_port

• По умолчанию: 9070
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Дополнительный порт службы агента для BE и CN.
• Введен в: -

starlet_use_star_cache

• По умолчанию: false в v3.1 и true начиная с v3.2.3
• Тип: Boolean
• Единица: -
• Изменяемый: Нет
• Описание: Включать ли Data Cache в кластере с разделяемыми данными. true указывает на включение этой функции, а false указывает на ее отключение. Значение по умолчанию установлено с false на true начиная с v3.2.3.
• Введен в: v3.1

starlet_star_cache_disk_size_percent

• По умолчанию: 80
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Процент емкости диска, который Data Cache может использовать максимально в кластере с разделяемыми данными.
• Введен в: v3.1

starlet_fslib_s3client_request_timeout_ms

• По умолчанию: -1
• Тип: Int
• Единица: Миллисекунды
• Изменяемый: Нет
• Описание: Псевдоним object_storage_request_timeout_ms. Обратитесь к object_storage_request_timeout_ms для подробностей.
• Введен в: v3.3.9

starlet_filesystem_instance_cache_capacity

• По умолчанию: 10000
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Емкость кэша экземпляров файловой системы starlet.
• Введен в: v3.2.16, v3.3.11, v3.4.1

starlet_filesystem_instance_cache_ttl_sec

• По умолчанию: 86400
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Время истечения кэша экземпляров файловой системы starlet.
• Введен в: v3.3.15, 3.4.5

lake_compaction_stream_buffer_size_bytes

• По умолчанию: 1048576
• Тип: Int
• Единица: Байты
• Изменяемый: Да
• Описание: Размер буфера удаленного ввода-вывода читателя для compaction облачно-нативной таблицы в кластере с разделяемыми данными. Значение по умолчанию составляет 1 МБ. Вы можете увеличить это значение для ускорения процесса compaction.
• Введен в: v3.2.3

lake_pk_compaction_max_input_rowsets

• По умолчанию: 500
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество входных rowset, разрешенных в задаче compaction таблицы Primary Key в кластере с разделяемыми данными. Значение по умолчанию этого параметра было изменено с 5 на 1000 начиная с v3.2.4 и v3.1.10, и на 500 начиная с v3.3.1 и v3.2.9. После включения политики Sized-tiered Compaction для таблиц Primary Key (установкой enable_pk_size_tiered_compaction_strategy в true), Selena не нужно ограничивать количество rowset для каждого compaction, чтобы уменьшить усиление записи. Поэтому значение по умолчанию этого параметра увеличено.
• Введен в: v3.1.8, v3.2.3

Озеро данных

jdbc_connection_pool_size

• По умолчанию: 8
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Размер пула соединений JDBC. На каждом узле BE запросы, которые обращаются к внешней таблице с одинаковым jdbc_url, разделяют один и тот же пул соединений.
• Введен в: -

jdbc_minimum_idle_connections

• По умолчанию: 1
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Минимальное количество неактивных соединений в пуле соединений JDBC.
• Введен в: -

jdbc_connection_idle_timeout_ms

• По умолчанию: 600000
• Тип: Int
• Единица: Миллисекунды
• Изменяемый: Нет
• Описание: Время, после которого неактивное соединение в пуле соединений JDBC истекает. Если время простоя соединения в пуле соединений JDBC превышает это значение, пул соединений закрывает неактивные соединения сверх числа, указанного в элементе конфигурации jdbc_minimum_idle_connections.
• Введен в: -

datacache_enable

• По умолчанию: true
• Тип: Boolean
• Единица: -
• Изменяемый: Нет
• Описание: Включать ли Data Cache. true указывает, что Data Cache включен, а false указывает, что Data Cache отключен. Значение по умолчанию изменено на true начиная с v3.3.
• Введен в: -

datacache_mem_size

• По умолчанию: 0
• Тип: String
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество данных, которые могут быть кэшированы в памяти. Вы можете установить его как процент (например, 10%) или физический лимит (например, 10G, 21474836480).
• Введен в: -

datacache_disk_size

• По умолчанию: 0
• Тип: String
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество данных, которые могут быть кэшированы на одном диске. Вы можете установить его как процент (например, 80%) или физический лимит (например, 2T, 500G). Например, если вы настроите два пути дисков для параметра datacache_disk_path и установите значение параметра datacache_disk_size как 21474836480 (20 ГБ), максимум 40 ГБ данных может быть кэшировано на этих двух дисках. Значение по умолчанию 0 указывает, что только память используется для кэширования данных.
• Введен в: -

datacache_disk_path

• По умолчанию: ${STARROCKS_HOME}/datacache/
• Тип: String
• Единица: -
• Изменяемый: Нет
• Описание: Пути дисков. Мы рекомендуем, чтобы количество путей, которые вы настраиваете для этого параметра, было таким же, как количество дисков на вашей машине BE. Несколько путей должны быть разделены точками с запятой (;).
• Введен в: -

datacache_meta_path

• По умолчанию: ${STARROCKS_HOME}/datacache/
• Тип: String
• Единица: -
• Изменяемый: Нет
• Описание: Путь хранения метаданных блоков. Вы можете настроить путь хранения. Мы рекомендуем хранить метаданные под путем $STARROCKS_HOME.
• Введен в: -

datacache_auto_adjust_enable

• По умолчанию: false
• Тип: Boolean
• Единица: -
• Изменяемый: Да
• Описание: Включать ли автоматическое масштабирование для емкости диска Data Cache. Когда включено, система динамически регулирует емкость кэша на основе текущего уровня использования диска.
• Введен в: v3.3.0

datacache_disk_high_level

• По умолчанию: 80
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Верхний лимит использования диска (в процентах), который запускает автоматическое масштабирование емкости кэша. Когда использование диска превышает это значение, система автоматически вытесняет данные кэша из Data Cache.
• Введен в: v3.3.0

datacache_disk_safe_level

• По умолчанию: 70
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Безопасный уровень использования диска (в процентах) для Data Cache. Когда Data Cache выполняет автоматическое масштабирование, система регулирует емкость кэша с целью поддержания использования диска как можно ближе к этому значению.
• Введен в: v3.3.0

datacache_disk_low_level

• По умолчанию: 60
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Нижний лимит использования диска (в процентах), который запускает автоматическое масштабирование емкости кэша. Когда использование диска остается ниже этого значения в течение периода, указанного в datacache_disk_idle_seconds_for_expansion, и пространство, выделенное для Data Cache, полностью используется, система автоматически расширит емкость кэша, увеличив верхний лимит.
• Введен в: v3.3.0

datacache_disk_adjust_interval_seconds

• По умолчанию: 10
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Интервал автоматического масштабирования емкости Data Cache. Через регулярные интервалы система проверяет использование диска кэша и запускает автоматическое масштабирование при необходимости.
• Введен в: v3.3.0

datacache_disk_idle_seconds_for_expansion

• По умолчанию: 7200
• Тип: Int
• Единица: Секунды
• Изменяемый: Да
• Описание: Минимальное время ожидания для автоматического расширения Data Cache. Автоматическое масштабирование вверх запускается только если использование диска остается ниже datacache_disk_low_level дольше этой продолжительности.
• Введен в: v3.3.0

datacache_min_disk_quota_for_adjustment

• По умолчанию: 107374182400
• Тип: Int
• Единица: Байты
• Изменяемый: Да
• Описание: Минимальная эффективная емкость для автоматического масштабирования Data Cache. Если система пытается отрегулировать емкость кэша до значения меньше этого, емкость кэша будет напрямую установлена в 0, чтобы предотвратить неоптимальную производительность, вызванную частым заполнением и вытеснением кэша из-за недостаточной емкости кэша.
• Введен в: v3.3.0

datacache_block_buffer_enable

• По умолчанию: true
• Тип: Boolean
• Единица: -
• Изменяемый: Нет
• Описание: Включать ли Block Buffer для оптимизации эффективности Data Cache. Когда Block Buffer включен, система читает данные Block из Data Cache и кэширует их во временном буфере, тем самым уменьшая дополнительные накладные расходы, вызванные частыми чтениями кэша.
• Введен в: v3.2.0

datacache_tiered_cache_enable

• По умолчанию: true
• Тип: Boolean
• Единица: -
• Изменяемый: Нет
• Описание: Включать ли режим многоуровневого кэша для Data Cache. Когда режим многоуровневого кэша включен, Data Cache настроен с двумя уровнями кэширования, памятью и диском. Когда данные диска становятся горячими данными, они автоматически загружаются в кэш памяти, а когда данные в кэше памяти становятся холодными, они автоматически сбрасываются на диск. Когда режим многоуровневого кэша не включен, память и диск, настроенные для Data Cache, образуют два отдельных пространства кэша и кэшируют разные типы данных, без потока данных между ними.
• Введен в: v3.2.5

query_max_memory_limit_percent

• По умолчанию: 90
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Максимальная память, которую может использовать Query Pool. Выражается как процент от лимита памяти процесса.
• Введен в: v3.1.0

lake_service_max_concurrency

• По умолчанию: 0
• Тип: Int
• Единица: -
• Изменяемый: Нет
• Описание: Максимальная параллельность RPC-запросов в кластере с разделяемыми данными. Входящие запросы будут отклонены при достижении этого порога. Когда этот элемент установлен в 0, никаких ограничений на параллельность не накладывается.
• Введен в: -

lake_enable_vertical_compaction_fill_data_cache

• По умолчанию: false
• Тип: Boolean
• Единица: -
• Изменяемый: Да
• Описание: Разрешать ли задачам compaction кэшировать данные на локальных дисках в кластере с разделяемыми данными.
• Введен в: v3.1.7, v3.2.3

Прочее

user_function_dir

• По умолчанию: ${STARROCKS_HOME}/lib/udf
• Тип: String
• Единица: -
• Изменяемый: Нет
• Описание: Каталог, используемый для хранения пользовательских функций (UDF).
• Введен в: -

default_mv_resource_group_memory_limit

• По умолчанию: 0.8
• Тип: Double
• Единица:
• Изменяемый: Да
• Описание: Максимальная доля памяти (на узел BE), которая может использоваться задачами обновления материализованного представления в группе ресурсов default_mv_wg. Значение по умолчанию указывает 80% памяти.
• Введен в: v3.1

default_mv_resource_group_cpu_limit

• По умолчанию: 1
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальное количество ядер процессора (на узел BE), которое может использоваться задачами обновления материализованного представления в группе ресурсов default_mv_wg.
• Введен в: v3.1

default_mv_resource_group_concurrency_limit

• По умолчанию: 0
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Максимальная параллельность (на узел BE) задач обновления материализованного представления в группе ресурсов default_mv_wg. Значение по умолчанию 0 указывает на отсутствие ограничений.
• Введен в: v3.1

default_mv_resource_group_spill_mem_limit_threshold

• По умолчанию: 0.8
• Тип: Double
• Единица: -
• Изменяемый: Да
• Описание: Порог использования памяти перед тем, как задача обновления материализованного представления в группе ресурсов default_mv_wg запускает разливание промежуточных результатов. Значение по умолчанию указывает 80% памяти.
• Введен в: v3.1

enable_token_check

• По умолчанию: true
• Тип: Boolean
• Единица: -
• Изменяемый: Да
• Описание: Логическое значение для управления тем, включать ли проверку токена. true указывает на включение проверки токена, а false указывает на ее отключение.
• Введен в: -

small_file_dir

• По умолчанию: ${STARROCKS_HOME}/lib/small_file/
• Тип: String
• Единица: -
• Изменяемый: Нет
• Описание: Каталог, используемый для хранения файлов, загруженных менеджером файлов.
• Введен в: -

max_length_for_to_base64

• По умолчанию: 200000
• Тип: Int
• Единица: Байты
• Изменяемый: Нет
• Описание: Максимальная длина входных значений для функции to_base64().
• Введен в: -

max_length_for_bitmap_function

• По умолчанию: 1000000
• Тип: Int
• Единица: Байты
• Изменяемый: Нет
• Описание: Максимальная длина входных значений для функций bitmap.
• Введен в: -

report_exec_rpc_request_retry_num

• По умолчанию: 10
• Тип: Int
• Единица: -
• Изменяемый: Да
• Описание: Количество повторных попыток rpc-запроса для отчета exec rpc-запроса в FE. Значение по умолчанию равно 10, что означает, что rpc-запрос будет повторен 10 раз в случае неудачи, только если это rpc завершения экземпляра фрагмента. Отчет exec rpc-запроса важен для задания загрузки, если один отчет о завершении экземпляра фрагмента не удался, задание загрузки будет зависать до тайм-аута.
• Введен в: -