Поддержка функций: Загрузка и выгрузка данных

Этот документ описывает функции различных методов загрузки и выгрузки данных, поддерживаемых Selena.

Формат файлов

Форматы файлов для загрузки

	Источник данных	Формат файла
		CSV	JSON [3]	Parquet	ORC	Avro	ProtoBuf	Thrift
Stream Load	Локальные файловые системы, приложения, коннекторы	Да	Да	Будет поддерживаться	Будет поддерживаться	Будет поддерживаться
INSERT from FILES	HDFS, S3, OSS, Azure, GCS, NFS(NAS) [5]	Да (v3.3+)	Будет поддерживаться	Да (v3.1+)	Да (v3.1+)	Будет поддерживаться
Broker Load		Да	Да (v3.2.3+)	Да	Да	Будет поддерживаться
Routine Load	Kafka	Да	Да	Будет поддерживаться	Будет поддерживаться	Да (v3.0+) [1]	Будет поддерживаться	Будет поддерживаться
Spark Load		Да	Будет поддерживаться	Да	Да	Будет поддерживаться
Коннекторы	Flink, Spark	Да	Да	Будет поддерживаться	Будет поддерживаться	Будет поддерживаться
Kafka Connector [2]	Kafka	Да (v3.0+)		Будет поддерживаться	Будет поддерживаться	Да (v3.0+)		Будет поддерживаться
PIPE [4]	Соответствует INSERT from FILES

примечание

[1], [2]: Требуется Schema Registry.

[3]: JSON поддерживает различные форматы CDC. Подробности о форматах JSON CDC, поддерживаемых Selena, см. в разделе Форматы JSON CDC.

[4]: В настоящее время для загрузки с помощью PIPE поддерживается только INSERT from FILES.

[5]: Необходимо смонтировать устройство NAS как NFS в одном и том же каталоге каждого узла BE или CN для доступа к файлам в NFS через протокол file://.

Форматы JSON CDC

	Stream Load	Routine Load	Broker Load	INSERT from FILES	Kafka Connector [1]
Debezium	Будет поддерживаться	Будет поддерживаться	Будет поддерживаться	Будет поддерживаться	Да (v3.0+)
Canal	Будет поддерживаться
Maxwell

примечание

[1]: При загрузке данных в формате Debezium CDC в таблицы с первичным ключом в Selena необходимо настроить параметр transforms.

Форматы файлов для выгрузки

	Цель		Формат файла
	Формат таблицы	Удаленное хранилище	CSV	JSON	Parquet	ORC
INSERT INTO FILES	N/A	HDFS, S3, OSS, Azure, GCS, NFS(NAS) [3]	Да (v3.3+)	Будет поддерживаться	Да (v3.2+)	Да (v3.3+)
INSERT INTO Catalog	Hive	HDFS, S3, OSS, Azure, GCS	Да (v3.3+)	Будет поддерживаться	Да (v3.2+)	Да (v3.3+)
	Iceberg	HDFS, S3, OSS, Azure, GCS	Будет поддерживаться	Будет поддерживаться	Да (v3.2+)	Будет поддерживаться
	Hudi/Delta		Будет поддерживаться
EXPORT	N/A	HDFS, S3, OSS, Azure, GCS	Да [1]	Будет поддерживаться	Будет поддерживаться	Будет поддерживаться
PIPE	Будет поддерживаться [2]

примечание

[1]: Поддерживается настройка процесса Broker.

[2]: В настоящее время выгрузка данных с помощью PIPE не поддерживается.

[3]: Необходимо смонтировать устройство NAS как NFS в одном и том же каталоге каждого узла BE или CN для доступа к файлам в NFS через протокол file://.

Параметры, связанные с форматом файлов

Параметры, связанные с форматом файлов для загрузки

Формат файла	Параметр	Метод загрузки
		Stream Load	INSERT from FILES	Broker Load	Routine Load	Spark Load
CSV	column_separator	Да	Да (v3.3+)	Да [1]
	row_delimiter	Да		Да [2] (v3.1+)	Да [3] (v2.2+)	Будет поддерживаться
	enclose	Да (v3.0+)		Да (v3.0+)	Да (v3.0+)	Будет поддерживаться
	escape
	skip_header				Будет поддерживаться
	trim_space				Да (v3.0+)
JSON	jsonpaths	Да	Будет поддерживаться	Да (v3.2.3+)	Да	Будет поддерживаться
	strip_outer_array
	json_root
	ignore_json_size				Будет поддерживаться

примечание

[1]: Соответствующий параметр — COLUMNS TERMINATED BY.

[2]: Соответствующий параметр — ROWS TERMINATED BY.

[3]: Соответствующий параметр — ROWS TERMINATED BY.

Параметры, связанные с форматом файлов для выгрузки

Формат файла	Параметр	Метод выгрузки
		INSERT INTO FILES	EXPORT
CSV	column_separator	Да (v3.3+)	Да
	line_delimiter [1]

примечание

[1]: Соответствующий параметр при загрузке данных — row_delimiter.

Форматы сжатия

Форматы сжатия для загрузки

Формат файла	Формат сжатия	Метод загрузки
		Stream Load	Broker Load	INSERT from FILES	Routine Load	Spark Load
CSV	defalte bzip2 gzip lz4_frame zstd	Да [1]	Да [2]	Будет поддерживаться	Будет поддерживаться	Будет поддерживаться
JSON		Да (v3.2.7+) [3]	Будет поддерживаться	N/A	Будет поддерживаться	N/A
Parquet	gzip lz4 snappy zlib zstd	N/A	Да [4]		Будет поддерживаться	Да [4]
ORC

примечание

[1]: В настоящее время только при загрузке CSV-файлов с помощью Stream Load можно указать формат сжатия, используя format=gzip, что означает CSV-файлы, сжатые gzip. Также поддерживаются форматы deflate и bzip2.

[2]: Broker Load не поддерживает указание формата сжатия CSV-файлов с помощью параметра format. Broker Load определяет формат сжатия по расширению файла. Расширение файлов, сжатых gzip, — .gz, а файлов, сжатых zstd, — .zst. Кроме того, другие параметры, связанные с format, такие как trim_space и enclose, также не поддерживаются.

[3]: Поддерживает указание формата сжатия с помощью compression = gzip.

[4]: Поддерживается библиотекой Arrow. Настройка параметра compression не требуется.

Форматы сжатия для выгрузки

Формат файла	Формат сжатия	Метод выгрузки
		INSERT INTO FILES	INSERT INTO Catalog			EXPORT
			Hive	Iceberg	Hudi/Delta
CSV	defalte bzip2 gzip lz4_frame zstd	Будет поддерживаться	Будет поддерживаться	Будет поддерживаться	Будет поддерживаться	Будет поддерживаться
JSON	N/A	N/A	N/A	N/A	N/A	N/A
Parquet	gzip lz4 snappy zstd	Да (v3.2+)	Да (v3.2+)	Да (v3.2+)	Будет поддерживаться	N/A
ORC

Учетные данные

Загрузка - Аутентификация

Аутентификация	Метод загрузки
	Stream Load	INSERT from FILES	Broker Load	Routine Load	External Catalog
Единый Kerberos	N/A	Да (v3.1+)	Да [1] (версии ранее v2.5)	Да [2] (v3.1.4+)	Да
Kerberos Ticket Granting Ticket (TGT)	N/A	Будет поддерживаться			Да (v3.1.10+/v3.2.1+)
Единый KDC Множественный Kerberos	N/A
Базовая аутентификация доступа (пара ключей доступа, роль IAM)	N/A	Да (HDFS и S3-совместимое объектное хранилище)		Да [3]	Да

примечание

[1]: Для HDFS Selena поддерживает как простую аутентификацию, так и аутентификацию Kerberos.

[2]: Когда протокол безопасности установлен на sasl_plaintext или sasl_ssl, поддерживаются аутентификации SASL и GSSAPI (Kerberos).

[3]: Когда протокол безопасности установлен на sasl_plaintext или sasl_ssl, поддерживаются аутентификации SASL и PLAIN.

Выгрузка - Аутентификация

	INSERT INTO FILES	EXPORT
Единый Kerberos	Будет поддерживаться	Будет поддерживаться

Загрузка - Другие параметры и функции

Параметр и функция	Метод загрузки
	Stream Load	INSERT from FILES	INSERT from SELECT/VALUES	Broker Load	PIPE	Routine Load	Spark Load
partial_update	Да (v3.0+)	Да [1] (v3.3+)		Да (v3.0+)	N/A	Да (v3.0+)	Будет поддерживаться
partial_update_mode	Да (v3.1+)	Будет поддерживаться		Да (v3.1+)	N/A	Будет поддерживаться	Будет поддерживаться
COLUMNS FROM PATH	N/A	Да (v3.2+)	N/A	Да	N/A	N/A	Да
timezone или переменная сессии time_zone [2]	Да [3]	Да [4]	Да [4]	Да [4]	Будет поддерживаться	Да [4]	Будет поддерживаться
Точность времени - Микросекунды	Да	Да	Да	Да (v3.1.11+/v3.2.6+)	Будет поддерживаться	Да	Да

примечание

[1]: Начиная с v3.3, Selena поддерживает частичные обновления в режиме строк для INSERT INTO путем указания списка столбцов.

[2]: Установка часового пояса с помощью параметра или переменной сессии повлияет на результаты, возвращаемые функциями, такими как strftime(), alignment_timestamp() и from_unixtime().

[3]: Поддерживается только параметр timezone.

[4]: Поддерживается только переменная сессии time_zone.

Выгрузка - Другие параметры и функции

Параметр и функция	INSERT INTO FILES	EXPORT
target_max_file_size	Да (v3.2+)	Будет поддерживаться
single
Partitioned_by
Переменная сессии time_zone	Будет поддерживаться
Точность времени - Микросекунды	Будет поддерживаться	Будет поддерживаться