SHOW LOAD
SHOW LOAD отображает информацию обо всех загрузочных заданиях или заданных загрузочных заданиях в базе данных. Эта команда может отображать только загрузочные задания, созданные с помощью Broker Load, INSERT и SPARK_LOAD. Вы также можете просматривать информацию о загрузочных заданиях с помощью команды curl. Начиная с версии 3.1, мы рекомендуем использовать команду SELECT для запроса результатов заданий Broker Load или Insert из таблицы loads в базе данных information_schema. Для получения дополнительной информации см. Loading.
Помимо вышеупомянутых методов загрузки, Selena поддерживает использование Stream Load и Routine Load для загрузки данных. Stream Load является синхронной операцией и будет напрямую возвращать информацию о заданиях Stream Load. Routine Load является асинхронной операцией, где вы можете использовать команду SHOW ROUTINE LOAD для отображения информации о заданиях Routine Load.
Синтаксис
SHOW LOAD [ FROM db_name ]
[
WHERE [ LABEL { = "label_name" | LIKE "label_matcher" } ]
[ [AND] STATE = { "PENDING" | "ETL" | "LOADING" | "FINISHED" | "CANCELLED" } ]
]
[ ORDER BY field_name [ ASC | DESC ] ]
[ LIMIT { [offset, ] limit | limit OFFSET offset } ]
Примечание
Вы можете добавить опцию
\Gк команде (например,SHOW LOAD WHERE LABEL = "label1"\G;), чтобы отображать вывод вертикально, а не в обычном горизонтальном табличном формате. Для получения дополнительной информации см. Пример 1.
Параметры
| Параметр | Обязательный | Описание |
|---|---|---|
| db_name | Нет | Имя базы данных. Если этот параметр не указан, по умолчанию используется текущая база данных. |
| LABEL = "label_name" | Нет | Метки загрузочных заданий. |
| LABEL LIKE "label_matcher" | Нет | Если этот параметр указан, возвращается информация о загрузочных заданиях, метки которых содержат label_matcher. |
| AND | Нет |
|
| STATE | Нет | Состояния загрузочных заданий. Состояния различаются в зависимости от методов загрузки.
STATE не указан, по умолчанию возвращается информация о загрузочных заданиях во всех состояниях. Если параметр STATE указан, возвращается только информация о загрузочных заданиях в заданном состоянии. Например, STATE = "PENDING" возвращает информацию о загрузочных заданиях в состоянии PENDING. |
| ORDER BY field_name [ASC | DESC] | Нет | Если этот параметр указан, вывод сортируется по возрастанию или убыванию на основе поля. Поддерживаются следующие поля: JobId, Label, State, Progress, Type, EtlInfo, TaskInfo, ErrorMsg, CreateTime, EtlStartTime, EtlFinishTime, LoadStartTime, LoadFinishTime, URL и JobDetails.
JobId. |
| LIMIT limit | Нет | Количество загрузочных заданий, которые разрешено отображать. Если этот параметр не указан, отображается информация обо всех загрузочных заданиях, соответствующих условиям фильтра. Если этот параметр указан, например, LIMIT 10, возвращается только информация о 10 загрузочных заданиях, соответствующих условиям фильтра. |
| OFFSET offset | Нет | Параметр offset определяет количество загрузочных заданий, которые нужно пропустить. Например, OFFSET 5 пропускает первые пять загрузочных заданий и возвращает остальные. Значение параметра offset по умолчанию равно 0. |
Вывод
+-------+-------+-------+----------+------+---------+----------+----------+------------+--------------+---------------+---------------+----------------+-----+------------+
| JobId | Label | State | Progress | Type | Priority | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+-------+-------+----------+------+---------+----------+----------+------------+--------------+---------------+---------------+----------------+-----+------------+
Вывод этой команды различается в зависимости от методов загрузки.
| Поле | Broker Load | Spark Load | INSERT |
|---|---|---|---|
| JobId | Уникальный ID, присвоенный Selena для идентификации загрузочного задания в вашем кластере Selena. | Поле имеет то же значение в задании Spark Load, что и в задании Broker Load. | Поле имеет то же значение в задании INSERT, что и в задании Broker Load. |
| Label | Метка загрузочного задания. Метка загрузочного задания уникальна в пределах базы данных, но может дублироваться в разных базах данных. | Поле имеет то же значение в задании Spark Load, что и в задании Broker Load. | Поле имеет то же значение в задании INSERT, что и в задании Broker Load. |
| State | Состояние загрузочного задания.
| Состояние загрузочного задания.
| Состояние загрузочного задания.
|
| Progress | Стадия загрузочного задания. Задание Broker Load имеет только стадию LOAD, которая варьируется от 0% до 100% для описания прогресса стадии. Когда загрузочное задание входит в стадию LOAD, для параметра State возвращается LOADING. Задание Broker Load не имеет стадии ETL. Параметр ETL действителен только для задания Spark Load.Примечание
| Стадия загрузочного задания. Задание Spark Load имеет две стадии:
ETL, для параметра State возвращается ETL. Когда загрузочное задание переходит в стадию LOAD, для параметра State возвращается LOADING. Примечание такое же, как для Broker Load. | Стадия загрузочного задания. Задание INSERT имеет только стадию LOAD, которая варьируется от 0% до 100% для описания прогресса стадии. Когда загрузочное задание входит в стадию LOAD, для параметра State возвращается LOADING. Задание INSERT не имеет стадии ETL. Параметр ETL действителен только для задания Spark Load.Примечание такое же, как для Broker Load. |
| Type | Метод загрузочного задания. Значение этого параметра по умолчанию равно BROKER. | Метод загрузочного задания. Значение этого параметра по умолчанию равно SPARK. | Метод загрузочного задания. Значение этого параметра по умолчанию равно INSERT. |
| Priority | Приоритет загрузочного задания. Допустимые значения: LOWEST, LOW, NORMAL, HIGH и HIGHEST. | - | - |
| EtlInfo | Метрики, связанные с ETL.
max-filter-ratio:dpp.abnorm.ALL/(unselected.rows + dpp.abnorm.ALL + dpp.norm.ALL). | Поле имеет то же значение в задании Spark Load, что и в задании Broker Load. | Метрики, связанные с ETL. Задание INSERT не имеет стадии ETL. Поэтому возвращается NULL. |
| TaskInfo | Параметры, которые указываются при создании загрузочного задания.
| Параметры, которые указываются при создании загрузочного задания.
| Параметры, которые указываются при создании загрузочного задания.
|
| ErrorMsg | Сообщение об ошибке, возвращаемое при сбое загрузочного задания. Когда состояние загрузочного задания PENDING, LOADING или FINISHED, для поля ErrorMsg возвращается NULL. Когда состояние загрузочного задания CANCELLED, значение, возвращаемое для поля ErrorMsg, состоит из двух частей: type и msg.
| Сообщение об ошибке, возвращаемое при сбое загрузочного задания. Когда состояние загрузочного задания PENDING, LOADING или FINISHED, для поля ErrorMsg возвращается NULL. Когда состояние загрузочного задания CANCELLED, значение, возвращаемое для поля ErrorMsg, состоит из двух частей: type и msg.
| Сообщение об ошибке, возвращаемое при сбое загрузочного задания. Когда состояние загрузочного задания FINISHED, для поля ErrorMsg возвращается NULL. Когда состояние загрузочного задания CANCELLED, значение, возвращаемое для поля ErrorMsg, состоит из двух частей: type и msg.
|
| CreateTime | Время, когда было создано загрузочное задание. | Поле имеет то же значение в задании Spark Load, что и в задании Broker Load. | Поле имеет то же значение в задании INSERT, что и в задании Broker Load. |
| EtlStartTime | Задание Broker Load не имеет стадии ETL. Поэтому значение этого поля совпадает со значением поля LoadStartTime. | Время начала стадии ETL. | Задание INSERT не имеет стадии ETL. Поэтому значение этого поля совпадает со значением поля LoadStartTime. |
| EtlFinishTime | Задание Broker Load не имеет стадии ETL. Поэтому значение этого поля совпадает со значением поля LoadStartTime. | Время завершения стадии ETL. | Задание INSERT не имеет стадии ETL. Поэтому значение этого поля совпадает со значением поля LoadStartTime. |
| LoadStartTime | Время начала стадии LOAD. | Поле имеет то же значение в задании Spark Load, что и в задании Broker Load. | Поле имеет то же значение в задании INSERT, что и в задании Broker Load. |
| LoadFinishTime | Время завершения загрузочного задания. | Поле имеет то же значение в задании Spark Load, что и в задании Broker Load. | Поле имеет то же значение в задании INSERT, что и в задании Broker Load. |
| URL | URL-адрес, который используется для доступа к некачественным данным, обнаруженным в загрузочном задании. Вы можете использовать команду curl или wget для доступа к URL-адресу и получения некачественных данных. Если некачественные данные не обнаружены, возвращается NULL. | Поле имеет то же значение в задании Spark Load, что и в задании Broker Load. | Поле имеет то же значение в задании INSERT, что и в задании Broker Load. |
| JobDetails | Другая информация, связанная с загрузочным заданием.
| Поле имеет то же значение в задании Spark Load, что и в задании Broker Load. | Поле имеет то же значение в задании INSERT, что и в задании Broker Load. |
Примечания по использованию
-
Информация, возвращаемая командой SHOW LOAD, действительна в течение 3 дней с момента
LoadFinishTimeзагрузочного задания. По истечении 3 дней информация не может быть отображена. Вы можете использовать параметрlabel_keep_max_secondдля изменения периода действия по умолчанию.ADMIN SET FRONTEND CONFIG ("label_keep_max_second" = "value"); -
Если значение поля
LoadStartTimeдолгое время остаетсяN/A, это означает, что загрузочные задания сильно накапливаются. Мы рекомендуем сократить частоту создания загрузочных заданий. -
Общий период времени, затраченный на загрузочное задание =
LoadFinishTime-CreateTime. -
Общий период времени, затраченный загрузочным заданием на стадии
LOAD=LoadFinishTime-LoadStartTime.
Примеры
Пример 1: Вертикально отобразить все загрузочные задания в текущей базе данных.
SHOW LOAD\G
*************************** 1. row ***************************
JobId: 976331
Label: duplicate_table_with_null
State: FINISHED
Progress: ETL:100%; LOAD:100%
Type: BROKER
Priority: NORMAL
EtlInfo: unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546
TaskInfo: resource:N/A; timeout(s):300; max_filter_ratio:0.0
ErrorMsg: NULL
CreateTime: 2022-10-17 19:35:00
EtlStartTime: 2022-10-17 19:35:04
EtlFinishTime: 2022-10-17 19:35:04
LoadStartTime: 2022-10-17 19:35:04
LoadFinishTime: 2022-10-17 19:35:06
URL: NULL
JobDetails: {"Unfinished backends":{"b90a703c-6e5a-4fcb-a8e1-94eca5be0b8f":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"b90a703c-6e5a-4fcb-a8e1-94eca5be0b8f":[10004]},"FileNumber":1,"FileSize":548622}
Пример 2: Отобразить два загрузочных задания, метки которых содержат строку null в текущей базе данных.
SHOW LOAD
WHERE LABEL LIKE "null"
LIMIT 2;
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| JobId | Label | State | Progress | Type | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 10082 | duplicate_table_with_null | FINISHED | ETL:100%; LOAD:100% | BROKER | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:N/A; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:53:27 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:31 | NULL | {"Unfinished backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[10002]},"FileNumber":1,"FileSize":548622} |
| 10103 | unique_table_with_null | FINISHED | ETL:100%; LOAD:100% | SPARK | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:test_spark_resource_07af473a_1230_11ed_b483_00163e0e550b; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:56:06 | 2022-08-02 14:56:19 | 2022-08-02 14:56:41 | 2022-08-02 14:56:41 | 2022-08-02 14:56:44 | http://emr-header-1.cluster-49091:20888/proxy/application_1655710334658_26391/ | {"Unfinished backends":{"00000000-0000-0000-0000-000000000000":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"00000000-0000-0000-0000-000000000000":[-1]},"FileNumber":1,"FileSize":8790855} |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
Пример 3: Отобразить загрузочные задания, метки которых содержат строку table в example_db. Кроме того, возвращаемые загрузочные задания отображаются в порядке убывания поля LoadStartTime.
SHOW LOAD FROM example_db
WHERE LABEL Like "table"
ORDER BY LoadStartTime DESC;
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| JobId | Label | State | Progress | Type | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 10103 | unique_table_with_null | FINISHED | ETL:100%; LOAD:100% | SPARK | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:test_spark_resource_07af473a_1230_11ed_b483_00163e0e550b; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:56:06 | 2022-08-02 14:56:19 | 2022-08-02 14:56:41 | 2022-08-02 14:56:41 | 2022-08-02 14:56:44 | http://emr-header-1.cluster-49091:20888/proxy/application_1655710334658_26391/ | {"Unfinished backends":{"00000000-0000-0000-0000-000000000000":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"00000000-0000-0000-0000-000000000000":[-1]},"FileNumber":1,"FileSize":8790855} |
| 10082 | duplicate_table_with_null | FINISHED | ETL:100%; LOAD:100% | BROKER | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:N/A; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:53:27 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:31 | NULL | {"Unfinished backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[10002]},"FileNumber":1,"FileSize":548622} |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
Пример 4: Отобразить загрузочное задание с меткой duplicate_table_with_null и состоянием FINISHED в example_db.
SHOW LOAD FROM example_db
WHERE LABEL = "duplicate_table_with_null" AND STATE = "FINISHED";
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+----------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| JobId | Label | State | Progress | Type | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+----------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 10082 | duplicate_table_with_null | FINISHED | ETL:100%; LOAD:100% | BROKER | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:N/A; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:53:27 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:30 | 2022-08-02 14:53:31 | NULL | {"Unfinished backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"4393c992-5da1-4e9f-8b03-895dc0c96dbc":[10002]},"FileNumber":1,"FileSize":548622} |
+-------+---------------------------+----------+---------------------+--------+---------------------------------------------------------+----------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
Пример 5: Пропустить первое загрузочное задание и отобразить следующие два загрузочных задания. Кроме того, эти два загрузочных задания сортируются по возрастанию.
SHOW LOAD FROM example_db
ORDER BY CreateTime ASC
LIMIT 2 OFFSET 1;
Или
SHOW LOAD FROM example_db
ORDER BY CreateTime ASC
LIMIT 1,2;
Вывод вышеуказанных команд выглядит следующим образом.
+-------+---------------------------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| JobId | Label | State | Progress | Type | EtlInfo | TaskInfo | ErrorMsg | CreateTime | EtlStartTime | EtlFinishTime | LoadStartTime | LoadFinishTime | URL | JobDetails |
+-------+---------------------------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| 10103 | unique_table_with_null | FINISHED | ETL:100%; LOAD:100% | SPARK | unselected.rows=0; dpp.abnorm.ALL=0; dpp.norm.ALL=65546 | resource:test_spark_resource_07af473a_1230_11ed_b483_00163e0e550b; timeout(s):300; max_filter_ratio:0.0 | NULL | 2022-08-02 14:56:06 | 2022-08-02 14:56:19 | 2022-08-02 14:56:41 | 2022-08-02 14:56:41 | 2022-08-02 14:56:44 | http://emr-header-1.cluster-49091:20888/proxy/application_1655710334658_26391/ | {"Unfinished backends":{"00000000-0000-0000-0000-000000000000":[]},"ScannedRows":65546,"TaskNumber":1,"All backends":{"00000000-0000-0000-0000-000000000000":[-1]},"FileNumber":1,"FileSize":8790855} |
| 10120 | insert_3a57b595-1230-11ed-b075-00163e14c85e | FINISHED | ETL:100%; LOAD:100% | INSERT | NULL | resource:N/A; timeout(s):3600; max_filter_ratio:0.0 | NULL | 2022-08-02 14:56:26 | 2022-08-02 14:56:26 | 2022-08-02 14:56:26 | 2022-08-02 14:56:26 | 2022-08-02 14:56:26 | | {"Unfinished backends":{},"ScannedRows":0,"TaskNumber":0,"All backends":{},"FileNumber":0,"FileSize":0} |
+-------+---------------------------------------------+----------+---------------------+--------+---------------------------------------------------------+---------------------------------------------------------------------------------------------------------+----------+---------------------+---------------------+---------------------+---------------------+---------------------+--------------------------------------------------------------------------------+-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+