Метрики Query Profile

Авторитетный справочник по необработанным метрикам, выдаваемым Selena Query Profile, сгруппированным по операторам. Используйте его как глоссарий; для руководства по устранению неполадок переходите к query_profile_tuning_recipes.md.

Сводные метрики

Базовая информация о выполнении запроса:

Метрика	Описание
Total	Общее время, затраченное на запрос, включая продолжительность фаз Planning, Executing и Profiling.
Query State	Состояние запроса, возможные состояния включают Finished, Error и Running.
Query ID	Уникальный идентификатор запроса.
Start Time	Временная метка начала запроса.
End Time	Временная метка окончания запроса.
Total	Общая продолжительность запроса.
Query Type	Тип запроса.
Query State	Текущее состояние запроса.
Selena Version	Используемая версия Selena.
User	Пользователь, выполнивший запрос.
Default Db	База данных по умолчанию, используемая для запроса.
Sql Statement	Выполненная SQL-инструкция.
Variables	Важные переменные, используемые для запроса.
NonDefaultSessionVariables	Не по умолчанию сессионные переменные, используемые для запроса.
Collect Profile Time	Время, затраченное на сбор profile.
IsProfileAsync	Указывает, был ли сбор profile асинхронным.

Метрики Planner

Предоставляет комплексный обзор planner. Обычно, если общее время, затраченное на planner, меньше 10 мс, это не вызывает беспокойства.

В некоторых сценариях planner может требовать больше времени:

1. Сложные запросы могут требовать дополнительного времени для парсинга и оптимизации для обеспечения оптимального плана выполнения.
2. Наличие многочисленных materialized views может увеличить время, необходимое для переписывания запроса.
3. Когда множество одновременных запросов исчерпывают системные ресурсы и используется очередь запросов, время Pending может быть продолжительным.
4. Запросы, включающие внешние таблицы, могут требовать дополнительного времени для связи с внешним сервером метаданных.

Пример:

     - -- Parser[1] 0
     - -- Total[1] 3ms
     -     -- Analyzer[1] 0
     -         -- Lock[1] 0
     -         -- AnalyzeDatabase[1] 0
     -         -- AnalyzeTemporaryTable[1] 0
     -         -- AnalyzeTable[1] 0
     -     -- Transformer[1] 0
     -     -- Optimizer[1] 1ms
     -         -- MVPreprocess[1] 0
     -         -- MVTextRewrite[1] 0
     -         -- RuleBaseOptimize[1] 0
     -         -- CostBaseOptimize[1] 0
     -         -- PhysicalRewrite[1] 0
     -         -- DynamicRewrite[1] 0
     -         -- PlanValidate[1] 0
     -             -- InputDependenciesChecker[1] 0
     -             -- TypeChecker[1] 0
     -             -- CTEUniqueChecker[1] 0
     -             -- ColumnReuseChecker[1] 0
     -     -- ExecPlanBuild[1] 0
     - -- Pending[1] 0
     - -- Prepare[1] 0
     - -- Deploy[1] 2ms
     -     -- DeployLockInternalTime[1] 2ms
     -         -- DeploySerializeConcurrencyTime[2] 0
     -         -- DeployStageByStageTime[6] 0
     -         -- DeployWaitTime[6] 1ms
     -             -- DeployAsyncSendTime[2] 0
     - DeployDataSize: 10916
    Reason:

Метрики обзора выполнения

Высокоуровневая статистика выполнения:

Метрика	Описание	Эмпирическое правило
FrontendProfileMergeTime	Время обработки profile на стороне FE	< 10 мс нормально
QueryAllocatedMemoryUsage	Общая выделенная память по узлам
QueryDeallocatedMemoryUsage	Общая освобожденная память по узлам
QueryPeakMemoryUsagePerNode	Максимальная пиковая память на узел	< 80% емкости нормально
QuerySumMemoryUsage	Общая пиковая память по узлам
QueryExecutionWallTime	Астрономическое время выполнения
QueryCumulativeCpuTime	Общее время CPU по узлам	Сравните с walltime * totalCpuCores
QueryCumulativeOperatorTime	Общее время выполнения операторов	Знаменатель для процентов времени операторов
QueryCumulativeNetworkTime	Общее сетевое время Exchange node
QueryCumulativeScanTime	Общее время IO Scan node
QueryPeakScheduleTime	Максимальное ScheduleTime Pipeline	< 1 с нормально для простых запросов
QuerySpillBytes	Данные, выгруженные на диск	< 1 ГБ нормально

Метрики Fragment

Детали выполнения на уровне Fragment:

Метрика	Описание
InstanceNum	Количество FragmentInstances
InstanceIds	ID всех FragmentInstances
BackendNum	Количество участвующих BE
BackendAddresses	Адреса BE
FragmentInstancePrepareTime	Продолжительность фазы Prepare Fragment
InstanceAllocatedMemoryUsage	Общая выделенная память для instances
InstanceDeallocatedMemoryUsage	Общая освобожденная память для instances
InstancePeakMemoryUsage	Пиковая память по instances

Метрики Pipeline

Детали выполнения Pipeline и взаимосвязи:

Ключевые взаимосвязи:

• DriverTotalTime = ActiveTime + PendingTime + ScheduleTime
• ActiveTime = ∑ OperatorTotalTime + OverheadTime
• PendingTime = InputEmptyTime + OutputFullTime + PreconditionBlockTime + PendingFinishTime
• InputEmptyTime = FirstInputEmptyTime + FollowupInputEmptyTime

Метрика	Описание
DegreeOfParallelism	Степень параллелизма выполнения pipeline.
TotalDegreeOfParallelism	Сумма степеней параллелизма. Поскольку один и тот же Pipeline может выполняться на нескольких машинах, этот элемент агрегирует все значения.
DriverPrepareTime	Время, затраченное на фазу Prepare. Эта метрика не включена в DriverTotalTime.
DriverTotalTime	Общее время выполнения Pipeline, исключая время, проведенное в фазе Prepare.
ActiveTime	Время выполнения Pipeline, включая время выполнения каждого оператора и общие накладные расходы фреймворка, такие как время, потраченное на вызов методов типа has_output, need_input и т.д.
PendingTime	Время, когда Pipeline заблокирован от планирования по различным причинам.
InputEmptyTime	Время, когда Pipeline заблокирован из-за пустой входной очереди.
FirstInputEmptyTime	Время, когда Pipeline впервые заблокирован из-за пустой входной очереди. Первое время блокировки рассчитывается отдельно, потому что первая блокировка в основном вызвана зависимостями Pipeline.
FollowupInputEmptyTime	Время, когда Pipeline впоследствии заблокирован из-за пустой входной очереди.
OutputFullTime	Время, когда Pipeline заблокирован из-за полной выходной очереди.
PreconditionBlockTime	Время, когда Pipeline заблокирован из-за невыполненных зависимостей.
PendingFinishTime	Время, когда Pipeline заблокирован в ожидании завершения асинхронных задач.
ScheduleTime	Время планирования Pipeline, от входа в очередь готовности до планирования на выполнение.
BlockByInputEmpty	Количество раз, когда pipeline заблокирован из-за InputEmpty.
BlockByOutputFull	Количество раз, когда pipeline заблокирован из-за OutputFull.
BlockByPrecondition	Количество раз, когда pipeline заблокирован из-за невыполненных предусловий.

Метрики Operator

Метрика	Описание
PrepareTime	Время, затраченное на подготовку.
OperatorTotalTime	Общее время, затраченное Operator. Оно удовлетворяет уравнению: OperatorTotalTime = PullTotalTime + PushTotalTime + SetFinishingTime + SetFinishedTime + CloseTime. Исключает время, потраченное на подготовку.
PullTotalTime	Общее время, которое Operator тратит на выполнение push_chunk.
PushTotalTime	Общее время, которое Operator тратит на выполнение pull_chunk.
SetFinishingTime	Общее время, которое Operator тратит на выполнение set_finishing.
SetFinishedTime	Общее время, которое Operator тратит на выполнение set_finished.
PushRowNum	Кумулятивное количество входных строк для Operator.
PullRowNum	Кумулятивное количество выходных строк для Operator.
JoinRuntimeFilterEvaluate	Количество раз оценки Join Runtime Filter.
JoinRuntimeFilterHashTime	Время, затраченное на вычисление hash для Join Runtime Filter.
JoinRuntimeFilterInputRows	Количество входных строк для Join Runtime Filter.
JoinRuntimeFilterOutputRows	Количество выходных строк для Join Runtime Filter.
JoinRuntimeFilterTime	Время, затраченное на Join Runtime Filter.

Scan Operator

OLAP Scan Operator

OLAP_SCAN Operator отвечает за чтение данных из нативных таблиц Selena.

Метрика	Описание
Table	Имя таблицы.
Rollup	Имя materialized view. Если materialized view не задействован, эквивалентно имени таблицы.
SharedScan	Включена ли сессионная переменная enable_shared_scan.
TabletCount	Количество tablets.
MorselsCount	Количество morsels, которые являются базовой единицей выполнения IO.
PushdownPredicates	Количество pushdown predicates.
Predicates	Выражения предикатов.
BytesRead	Размер прочитанных данных.
CompressedBytesRead	Размер сжатых данных, прочитанных с диска.
UncompressedBytesRead	Размер несжатых данных, прочитанных с диска.
RowsRead	Количество прочитанных строк (после фильтрации предикатов).
RawRowsRead	Количество необработанных прочитанных строк (до фильтрации предикатов).
ReadPagesNum	Количество прочитанных страниц.
CachedPagesNum	Количество кэшированных страниц.
ChunkBufferCapacity	Емкость Chunk Buffer.
DefaultChunkBufferCapacity	Емкость Chunk Buffer по умолчанию.
PeakChunkBufferMemoryUsage	Пиковое использование памяти Chunk Buffer.
PeakChunkBufferSize	Пиковый размер Chunk Buffer.
PrepareChunkSourceTime	Время, затраченное на подготовку Chunk Source.
ScanTime	Кумулятивное время сканирования. Операции сканирования выполняются в асинхронном пуле потоков I/O.
IOTaskExecTime	Время выполнения IO задач.
IOTaskWaitTime	Время ожидания от успешной отправки до запланированного выполнения IO задач.
SubmitTaskCount	Количество раз отправки IO задач.
SubmitTaskTime	Время, затраченное на отправку задач.
PeakIOTasks	Пиковое количество IO задач.
PeakScanTaskQueueSize	Пиковый размер очереди IO задач.

Connector Scan Operator

Похож на OLAP_SCAN operator, но используется для сканирования внешних таблиц, таких как Iceberg/Hive/Hudi/Delta.

Метрика	Описание
DataSourceType	Тип источника данных, может быть HiveDataSource, ESDataSource и так далее.
Table	Имя таблицы.
TabletCount	Количество tablets.
MorselsCount	Количество morsels.
Predicates	Выражение предиката.
PredicatesPartition	Выражение предиката, применяемое к partitions.
SharedScan	Включена ли сессионная переменная enable_shared_scan.
ChunkBufferCapacity	Емкость Chunk Buffer.
DefaultChunkBufferCapacity	Емкость Chunk Buffer по умолчанию.
PeakChunkBufferMemoryUsage	Пиковое использование памяти Chunk Buffer.
PeakChunkBufferSize	Пиковый размер Chunk Buffer.
PrepareChunkSourceTime	Время, затраченное на подготовку Chunk Source.
ScanTime	Кумулятивное время сканирования. Операция сканирования выполняется в асинхронном пуле потоков I/O.
IOTaskExecTime	Время выполнения I/O задач.
IOTaskWaitTime	Время ожидания от успешной отправки до запланированного выполнения IO задач.
SubmitTaskCount	Количество раз отправки IO задач.
SubmitTaskTime	Время, затраченное на отправку задач.
PeakIOTasks	Пиковое количество IO задач.
PeakScanTaskQueueSize	Пиковый размер очереди IO задач.

Exchange Operator

Exchange Operator отвечает за передачу данных между BE узлами. Может быть несколько типов операций exchange: GATHER/BROADCAST/SHUFFLE.

Типичные сценарии, которые могут сделать Exchange Operator узким местом запроса:

1. Broadcast Join: Это подходящий метод для небольшой таблицы. Однако в исключительных случаях, когда оптимизатор выбирает неоптимальный план запроса, это может привести к значительному увеличению сетевой пропускной способности.
2. Shuffle Aggregation/Join: Перемешивание большой таблицы может привести к значительному увеличению сетевой пропускной способности.

Exchange Sink Operator

Метрика	Описание
ChannelNum	Количество каналов. Обычно количество каналов равно количеству получателей.
DestFragments	Список ID целевых FragmentInstance.
DestID	ID целевого узла.
PartType	Режим распределения данных, включая: UNPARTITIONED, RANDOM, HASH_PARTITIONED и BUCKET_SHUFFLE_HASH_PARTITIONED.
SerializeChunkTime	Время, затраченное на сериализацию chunks.
SerializedBytes	Размер сериализованных данных.
ShuffleChunkAppendCounter	Количество операций Chunk Append, когда PartType является HASH_PARTITIONED или BUCKET_SHUFFLE_HASH_PARTITIONED.
ShuffleChunkAppendTime	Время, затраченное на операции Chunk Append, когда PartType является HASH_PARTITIONED или BUCKET_SHUFFLE_HASH_PARTITIONED.
ShuffleHashTime	Время, затраченное на вычисление hash, когда PartType является HASH_PARTITIONED или BUCKET_SHUFFLE_HASH_PARTITIONED.
RequestSent	Количество отправленных пакетов данных.
RequestUnsent	Количество неотправленных пакетов данных. Эта метрика ненулевая, когда есть логика короткого замыкания; в противном случае она равна нулю.
BytesSent	Размер отправленных данных.
BytesUnsent	Размер неотправленных данных. Эта метрика ненулевая, когда есть логика короткого замыкания; в противном случае она равна нулю.
BytesPassThrough	Если целевой узел является текущим узлом, данные не будут передаваться по сети, что называется passthrough данными. Эта метрика указывает размер таких passthrough данных. Passthrough управляется enable_exchange_pass_through.
PassThroughBufferPeakMemoryUsage	Пиковое использование памяти PassThrough Buffer.
CompressTime	Время сжатия.
CompressedBytes	Размер сжатых данных.
OverallThroughput	Скорость пропускной способности.
NetworkTime	Время, затраченное на передачу пакетов данных (исключая время обработки после получения).
NetworkBandwidth	Расчетная пропускная способность сети.
WaitTime	Время ожидания из-за полной очереди отправителя.
OverallTime	Общее время для всего процесса передачи, т.е. от отправки первого пакета данных до подтверждения правильного получения последнего пакета данных.
RpcAvgTime	Среднее время для RPC.
RpcCount	Общее количество RPC.

Exchange Source Operator

Метрика	Описание
RequestReceived	Размер полученных пакетов данных.
BytesReceived	Размер полученных данных.
DecompressChunkTime	Время, затраченное на распаковку chunks.
DeserializeChunkTime	Время, затраченное на десериализацию chunks.
ClosureBlockCount	Количество заблокированных Closures.
ClosureBlockTime	Время блокировки для Closures.
ReceiverProcessTotalTime	Общее время, затраченное на обработку на стороне получателя.
WaitLockTime	Время ожидания блокировки.

Aggregate Operator

Список метрик

Метрика	Описание
GroupingKeys	Столбцы GROUP BY.
AggregateFunctions	Время, затраченное на вычисления агрегатных функций.
AggComputeTime	Время для AggregateFunctions + Group By.
ChunkBufferPeakMem	Пиковое использование памяти Chunk Buffer.
ChunkBufferPeakSize	Пиковый размер Chunk Buffer.
ExprComputeTime	Время для вычисления выражений.
ExprReleaseTime	Время для освобождения выражений.
GetResultsTime	Время для извлечения агрегатных результатов.
HashTableSize	Размер Hash Table.
HashTableMemoryUsage	Размер памяти Hash Table.
InputRowCount	Количество входных строк.
PassThroughRowCount	В режиме Auto количество строк данных, обработанных в потоковом режиме после низкой агрегации, приводит к деградации до потокового режима.
ResultAggAppendTime	Время, затраченное на добавление столбцов агрегатных результатов.
ResultGroupByAppendTime	Время, затраченное на добавление столбцов Group By.
ResultIteratorTime	Время для итерации по Hash Table.
StreamingTime	Время обработки в потоковом режиме.

Join Operator

Список метрик

Метрика	Описание
DistributionMode	Тип распределения, включая: BROADCAST, PARTITIONED, COLOCATE и т.д.
JoinPredicates	Предикаты Join.
JoinType	Тип Join.
BuildBuckets	Количество buckets в Hash Table.
BuildKeysPerBucket	Количество ключей на bucket в Hash Table.
BuildConjunctEvaluateTime	Время, затраченное на оценку conjunct во время фазы build.
BuildHashTableTime	Время, затраченное на построение Hash Table.
ProbeConjunctEvaluateTime	Время, затраченное на оценку conjunct во время фазы probe.
SearchHashTableTimer	Время, затраченное на поиск в Hash Table.
CopyRightTableChunkTime	Время, затраченное на копирование chunks из правой таблицы.
OutputBuildColumnTime	Время, затраченное на вывод столбца стороны build.
OutputProbeColumnTime	Время, затраченное на вывод столбца стороны probe.
HashTableMemoryUsage	Использование памяти Hash Table.
RuntimeFilterBuildTime	Время, затраченное на построение runtime filters.
RuntimeFilterNum	Количество runtime filters.

Window Function Operator

Метрика	Описание
ProcessMode	Режим выполнения, включающий две части: первая часть включает Materializing и Streaming; вторая часть включает Cumulative, RemovableCumulative, ByDefinition.
ComputeTime	Время, затраченное на вычисления оконных функций.
PartitionKeys	Столбцы Partition.
AggregateFunctions	Агрегатные функции.
ColumnResizeTime	Время, затраченное на изменение размера столбцов.
PartitionSearchTime	Время, затраченное на поиск границ partition.
PeerGroupSearchTime	Время, затраченное на поиск границ Peer Group. Имеет смысл только когда тип окна RANGE.
PeakBufferedRows	Пиковое количество строк в буфере.
RemoveUnusedRowsCount	Количество раз удаления неиспользуемых буферов.
RemoveUnusedTotalRows	Общее количество строк, удаленных из неиспользуемых буферов.

Sort Operator

Метрика	Описание
SortKeys	Ключи сортировки.
SortType	Метод сортировки результатов запроса: полная сортировка или сортировка топ N результатов.
MaxBufferedBytes	Пиковый размер буферизованных данных.
MaxBufferedRows	Пиковое количество буферизованных строк.
NumSortedRuns	Количество отсортированных прогонов.
BuildingTime	Время, затраченное на поддержание внутренних структур данных во время сортировки.
MergingTime	Время, затраченное на слияние отсортированных прогонов во время сортировки.
SortingTime	Время, затраченное на сортировку.
OutputTime	Время, затраченное на построение выходной отсортированной последовательности.

Merge Operator

Метрика	Описание	Уровень
Limit	Limit.	Первичный
Offset	Offset.	Первичный
StreamingBatchSize	Размер данных, обрабатываемых за одну операцию Merge, когда Merge выполняется в режиме Streaming	Первичный
LateMaterializationMaxBufferChunkNum	Максимальное количество chunks в буфере при включенной поздней материализации.	Первичный
OverallStageCount	Общее количество выполнений всех стадий.	Первичный
OverallStageTime	Общее время выполнения для каждой стадии.	Первичный
1-InitStageCount	Количество выполнений стадии Init.	Вторичный
2-PrepareStageCount	Количество выполнений стадии Prepare.	Вторичный
3-ProcessStageCount	Количество выполнений стадии Process.	Вторичный
4-SplitChunkStageCount	Количество выполнений стадии SplitChunk.	Вторичный
5-FetchChunkStageCount	Количество выполнений стадии FetchChunk.	Вторичный
6-PendingStageCount	Количество выполнений стадии Pending.	Вторичный
7-FinishedStageCount	Количество выполнений стадии Finished.	Вторичный
1-InitStageTime	Время выполнения стадии Init.	Вторичный
2-PrepareStageTime	Время выполнения стадии Prepare.	Вторичный
3-ProcessStageTime	Время выполнения стадии Process.	Вторичный
4-SplitChunkStageTime	Время, затраченное на стадию Split.	Вторичный
5-FetchChunkStageTime	Время, затраченное на стадию Fetch.	Вторичный
6-PendingStageTime	Время, затраченное на стадию Pending.	Вторичный
7-FinishedStageTime	Время, затраченное на стадию Finished.	Вторичный
LateMaterializationGenerateOrdinalTime	Время, затраченное на генерацию ordinal столбцов во время поздней материализации.	Третичный
SortedRunProviderTime	Время, затраченное на получение данных от provider во время стадии Process.	Третичный

TableFunction Operator

Метрика	Описание
TableFunctionExecTime	Время вычисления Table Function.
TableFunctionExecCount	Количество выполнений Table Function.

Project Operator

Project Operator отвечает за выполнение SELECT <expr>. Если в запросе есть некоторые дорогостоящие выражения, этот оператор может занимать значительное время.

Метрика	Описание
ExprComputeTime	Время вычисления выражений.
CommonSubExprComputeTime	Время вычисления общих подвыражений.

LocalExchange Operator

Метрика	Описание
Type	Тип Local Exchange, включая: Passthrough, Partition и Broadcast.
ShuffleNum	Количество shuffles. Эта метрика действительна только когда Type является Partition.
LocalExchangePeakMemoryUsage	Пиковое использование памяти.
LocalExchangePeakBufferSize	Пиковый размер буфера.
LocalExchangePeakBufferMemoryUsage	Пиковое использование памяти буфера.
LocalExchangePeakBufferChunkNum	Пиковое количество chunks в буфере.
LocalExchangePeakBufferRowNum	Пиковое количество строк в буфере.
LocalExchangePeakBufferBytes	Пиковый размер данных в буфере.
LocalExchangePeakBufferChunkSize	Пиковый размер chunks в буфере.
LocalExchangePeakBufferChunkRowNum	Пиковое количество строк на chunk в буфере.
LocalExchangePeakBufferChunkBytes	Пиковый размер данных на chunk в буфере.

OlapTableSink Operator

OlapTableSink Operator отвечает за выполнение операции INSERT INTO <table>.

подсказка

• Чрезмерная разница между значениями Max и Min метрики PushChunkNum у OlapTableSink указывает на перекос данных в upstream операторах, что может привести к узкому месту в производительности загрузки.
• RpcClientSideTime равен RpcServerSideTime плюс время сетевой передачи плюс время обработки фреймворком RPC. Если есть значительная разница между RpcClientSideTime и RpcServerSideTime, рассмотрите возможность включения сжатия для сокращения времени передачи.

Метрика	Описание
IndexNum	Количество синхронных materialized views, созданных для целевой таблицы.
ReplicatedStorage	Включена ли Single Leader Replication.
TxnID	ID транзакции загрузки.
RowsRead	Количество строк, прочитанных из upstream операторов.
RowsFiltered	Количество строк, отфильтрованных из-за недостаточного качества данных.
RowsReturned	Количество строк, записанных в целевую таблицу.
RpcClientSideTime	Общее время потребления RPC для загрузки, записанное на стороне клиента.
RpcServerSideTime	Общее время потребления RPC для загрузки, записанное на стороне сервера.
PrepareDataTime	Общее время потребления для фазы подготовки данных, включая преобразование формата данных и проверку качества данных.
SendDataTime	Локальное время потребления для отправки данных, включая время для сериализации и сжатия данных, а также для отправки задач в очередь отправителя.