Feature Support: Data Loading and Unloading
Поддержка функций: Загрузка и выгрузка данных
Этот документ описывает функции различных методов загрузки и выгрузки данных, поддерживаемых Selena.
Формат файлов
Форматы файлов для загрузки
| Источник данных | Формат файла | |||||||
|---|---|---|---|---|---|---|---|---|
| CSV | JSON [3] | Parquet | ORC | Avro | ProtoBuf | Thrift | ||
| Stream Load | Локальные файловые системы, приложения, коннекторы | Да | Да | Будет поддерживаться | Будет поддерживаться | Будет поддерживаться | ||
| INSERT from FILES | HDFS, S3, OSS, Azure, GCS, NFS(NAS) [5] | Да (v3.3+) | Будет поддерживаться | Да (v3.1+) | Да (v3.1+) | Будет поддерживаться | ||
| Broker Load | Да | Да (v3.2.3+) | Да | Да | Будет поддерживаться | |||
| Routine Load | Kafka | Да | Да | Будет поддерживаться | Будет поддерживаться | Да (v3.0+) [1] | Будет поддерживаться | Будет поддерживаться |
| Spark Load | Да | Будет поддерживаться | Да | Да | Будет поддерживаться | |||
| Коннекторы | Flink, Spark | Да | Да | Будет поддерживаться | Будет поддерживаться | Будет поддерживаться | ||
| Kafka Connector [2] | Kafka | Да (v3.0+) | Будет поддерживаться | Будет поддерживаться | Да (v3.0+) | Будет поддерживаться | ||
| PIPE [4] | Соответствует INSERT from FILES | |||||||
[1], [2]: Требуется Schema Registry.
[3]: JSON поддерживает различные форматы CDC. Подробности о форматах JSON CDC, поддерживаемых Selena, см. в разделе Форматы JSON CDC.
[4]: В настоящее время для загрузки с помощью PIPE поддерживается только INSERT from FILES.
[5]: Необходимо смонтировать устройство NAS как NFS в одном и том же каталоге каждого узла BE или CN для доступа к файлам в NFS через протокол file://.
Форматы JSON CDC
| Stream Load | Routine Load | Broker Load | INSERT from FILES | Kafka Connector [1] | |
|---|---|---|---|---|---|
| Debezium | Будет поддерживаться | Будет поддерживаться | Будет поддерживаться | Будет поддерживаться | Да (v3.0+) |
| Canal | Будет поддерживаться | ||||
| Maxwell | |||||
[1]: При загрузке данных в формате Debezium CDC в таблицы с первичным ключом в Selena необходимо настроить параметр transforms.
Форматы файлов для выгрузки
| Цель | Формат файла | |||||
|---|---|---|---|---|---|---|
| Формат таблицы | Удаленное хранилище | CSV | JSON | Parquet | ORC | |
| INSERT INTO FILES | N/A | HDFS, S3, OSS, Azure, GCS, NFS(NAS) [3] | Да (v3.3+) | Будет поддерживаться | Да (v3.2+) | Да (v3.3+) |
| INSERT INTO Catalog | Hive | HDFS, S3, OSS, Azure, GCS | Да (v3.3+) | Будет поддерживаться | Да (v3.2+) | Да (v3.3+) |
| Iceberg | HDFS, S3, OSS, Azure, GCS | Будет поддерживаться | Будет поддерживаться | Да (v3.2+) | Будет поддерживаться | |
| Hudi/Delta | Будет поддерживаться | |||||
| EXPORT | N/A | HDFS, S3, OSS, Azure, GCS | Да [1] | Будет поддерживаться | Будет поддерживаться | Будет поддерживаться |
| PIPE | Будет поддерживаться [2] | |||||
[1]: Поддерживается настройка процесса Broker.
[2]: В настоящее время выгрузка данных с помощью PIPE не поддерживается.
[3]: Необходимо смонтировать устройство NAS как NFS в одном и том же каталоге каждого узла BE или CN для доступа к файлам в NFS через протокол file://.
Параметры, связанные с форматом файлов
Параметры, связанные с форматом файлов для загрузки
| Формат файла | Параметр | Метод загрузки | ||||
|---|---|---|---|---|---|---|
| Stream Load | INSERT from FILES | Broker Load | Routine Load | Spark Load | ||
| CSV | column_separator | Да | Да (v3.3+) | Да [1] | ||
| row_delimiter | Да | Да [2] (v3.1+) | Да [3] (v2.2+) | Будет поддерживаться | ||
| enclose | Да (v3.0+) | Да (v3.0+) | Да (v3.0+) | Будет поддерживаться | ||
| escape | ||||||
| skip_header | Будет поддерживаться | |||||
| trim_space | Да (v3.0+) | |||||
| JSON | jsonpaths | Да | Будет поддерживаться | Да (v3.2.3+) | Да | Будет поддерживаться |
| strip_outer_array | ||||||
| json_root | ||||||
| ignore_json_size | Будет поддерживаться | |||||
[1]: Соответствующий параметр — COLUMNS TERMINATED BY.
[2]: Соответствующий параметр — ROWS TERMINATED BY.
[3]: Соответствующий параметр — ROWS TERMINATED BY.
Параметры, связанные с форматом файлов для выгрузки
| Формат файла | Параметр | Метод выгрузки | |
|---|---|---|---|
| INSERT INTO FILES | EXPORT | ||
| CSV | column_separator | Да (v3.3+) | Да |
| line_delimiter [1] | |||
[1]: Соответствующий параметр при загрузке данных — row_delimiter.
Форматы сжатия
Форматы сжатия для загрузки
| Формат файла | Формат сжатия | Метод загрузки | ||||
|---|---|---|---|---|---|---|
| Stream Load | Broker Load | INSERT from FILES | Routine Load | Spark Load | ||
| CSV |
| Да [1] | Да [2] | Будет поддерживаться | Будет поддерживаться | Будет поддерживаться |
| JSON | Да (v3.2.7+) [3] | Будет поддерживаться | N/A | Будет поддерживаться | N/A | |
| Parquet |
| N/A | Да [4] | Будет поддерживаться | Да [4] | |
| ORC | ||||||
[1]: В настоящее время только при загрузке CSV-файлов с помощью Stream Load можно указать формат сжатия, используя format=gzip, что означает CSV-файлы, сжатые gzip. Также поддерживаются форматы deflate и bzip2.
[2]: Broker Load не поддерживает указание формата сжатия CSV-файлов с помощью параметра format. Broker Load определяет формат сжатия по расширению файла. Расширение файлов, сжатых gzip, — .gz, а файлов, сжатых zstd, — .zst. Кроме того, другие параметры, связанные с format, такие как trim_space и enclose, также не поддерживаются.
[3]: Поддерживает указание формата сжатия с помощью compression = gzip.
[4]: Поддерживается библиотекой Arrow. Настройка параметра compression не требуется.
Форматы сжатия для выгрузки
| Формат файла | Формат сжатия | Метод выгрузки | ||||
|---|---|---|---|---|---|---|
| INSERT INTO FILES | INSERT INTO Catalog | EXPORT | ||||
| Hive | Iceberg | Hudi/Delta | ||||
| CSV |
| Будет поддерживаться | Будет поддерживаться | Будет поддерживаться | Будет поддерживаться | Будет поддерживаться |
| JSON | N/A | N/A | N/A | N/A | N/A | N/A |
| Parquet |
| Да (v3.2+) | Да (v3.2+) | Да (v3.2+) | Будет поддерживаться | N/A |
| ORC | ||||||
Учетные данные
Загрузка - Аутентификация
| Аутентификация | Метод загрузки | ||||
|---|---|---|---|---|---|
| Stream Load | INSERT from FILES | Broker Load | Routine Load | External Catalog | |
| Единый Kerberos | N/A | Да (v3.1+) | Да [1] (версии ранее v2.5) | Да [2] (v3.1.4+) | Да |
| Kerberos Ticket Granting Ticket (TGT) | N/A | Будет поддерживаться | Да (v3.1.10+/v3.2.1+) | ||
| Единый KDC Множественный Kerberos | N/A | ||||
| Базовая аутентификация доступа (пара ключей доступа, роль IAM) | N/A | Да (HDFS и S3-совместимое объектное хранилище) | Да [3] | Да | |
[1]: Для HDFS Selena поддерживает как простую аутентификацию, так и аутентификацию Kerberos.
[2]: Когда протокол безопасности установлен на sasl_plaintext или sasl_ssl, поддерживаются аутентификации SASL и GSSAPI (Kerberos).
[3]: Когда протокол безопасности установлен на sasl_plaintext или sasl_ssl, поддерживаются аутентификации SASL и PLAIN.
Выгрузка - Аутентификация
| INSERT INTO FILES | EXPORT | |
|---|---|---|
| Единый Kerberos | Будет поддерживаться | Будет поддерживаться |
Загрузка - Другие параметры и функции
| Параметр и функция | Метод загрузки | |||||||
|---|---|---|---|---|---|---|---|---|
| Stream Load | INSERT from FILES | INSERT from SELECT/VALUES | Broker Load | PIPE | Routine Load | Spark Load | ||
| partial_update | Да (v3.0+) | Да [1] (v3.3+) | Да (v3.0+) | N/A | Да (v3.0+) | Будет поддерживаться | ||
| partial_update_mode | Да (v3.1+) | Будет поддерживаться | Да (v3.1+) | N/A | Будет поддерживаться | Будет поддерживаться | ||
| COLUMNS FROM PATH | N/A | Да (v3.2+) | N/A | Да | N/A | N/A | Да | |
| timezone или переменная сессии time_zone [2] | Да [3] | Да [4] | Да [4] | Да [4] | Будет поддерживаться | Да [4] | Будет поддерживаться | |
| Точность времени - Микросекунды | Да | Да | Да | Да (v3.1.11+/v3.2.6+) | Будет поддерживаться | Да | Да | |
[1]: Начиная с v3.3, Selena поддерживает частичные обновления в режиме строк для INSERT INTO путем указания списка столбцов.
[2]: Установка часового пояса с помощью параметра или переменной сессии повлияет на результаты, возвращаемые функциями, такими как strftime(), alignment_timestamp() и from_unixtime().
[3]: Поддерживается только параметр timezone.
[4]: Поддерживается только переменная сессии time_zone.
Выгрузка - Другие параметры и функции
| Параметр и функция | INSERT INTO FILES | EXPORT |
|---|---|---|
| target_max_file_size | Да (v3.2+) | Будет поддерживаться |
| single | ||
| Partitioned_by | ||
| Переменная сессии time_zone | Будет поддерживаться | |
| Точность времени - Микросекунды | Будет поддерживаться | Будет поддерживаться |