Поддержка функций: Загрузка и выгрузка данных

Поддержка функций: Загрузка и выгрузка данных

В этом документе описаны функции различных методов загрузки и выгрузки данных, поддерживаемых Selena.

Формат файла

Форматы файлов для загрузки

	Источник данных	Формат файла
		CSV	JSON [3]	Parquet	ORC	Avro	ProtoBuf	Thrift
Stream Load	Локальные файловые системы, приложения, коннекторы	Да	Да	Планируется	Планируется	Планируется
INSERT from FILES	HDFS, S3, OSS, Azure, GCS, NFS(NAS) [5]	Да (v1.5.2+)	Планируется	Да (v1.5.2+)	Да (v1.5.2+)	Да (v1.5.2+)	Планируется
Broker Load		Да	Да (v1.5.2+)	Да	Да	Планируется
Routine Load	Kafka	Да	Да	Планируется	Планируется	Да (v1.5.2+) [1]	Планируется	Планируется
Spark Load		Да	Планируется	Да	Да	Планируется
Коннекторы	Flink, Spark	Да	Да	Планируется	Планируется	Планируется
Kafka Connector [2]	Kafka	Да (v1.5.2+)		Планируется	Планируется	Да (v1.5.2+)		Планируется
PIPE [4]	Соответствует INSERT from FILES

примечание

[1], [2]: Требуется Schema Registry.

[3]: JSON поддерживает различные форматы CDC. Подробнее о форматах JSON CDC, поддерживаемых Selena, см. в разделе Форматы JSON CDC.

[4]: В настоящее время для загрузки с помощью PIPE поддерживается только INSERT from FILES.

[5]: Вам нужно примонтировать устройство NAS как NFS в одну и ту же директорию каждого узла BE или CN для доступа к файлам в NFS через протокол file://.

Форматы JSON CDC

	Stream Load	Routine Load	Broker Load	INSERT from FILES	Kafka Connector [1]
Debezium	Планируется	Планируется	Планируется	Планируется	Да (v1.5.2+)
Canal	Планируется
Maxwell

примечание

[1]: При загрузке данных в формате Debezium CDC в таблицы Primary Key в Selena необходимо настроить параметр transforms.

Форматы файлов для выгрузки

	Цель		Формат файла
	Формат таблицы	Удалённое хранилище	CSV	JSON	Parquet	ORC
INSERT INTO FILES	Н/Д	HDFS, S3, OSS, Azure, GCS, NFS(NAS) [3]	Да (v1.5.2+)	Планируется	Да (v1.5.2+)	Да (v1.5.2+)
INSERT INTO Catalog	Hive	HDFS, S3, OSS, Azure, GCS	Да (v1.5.2+)	Планируется	Да (v1.5.2+)	Да (v1.5.2+)
	Iceberg	HDFS, S3, OSS, Azure, GCS	Планируется	Планируется	Да (v1.5.2+)	Планируется
	Hudi/Delta		Планируется
EXPORT	Н/Д	HDFS, S3, OSS, Azure, GCS	Да [1]	Планируется	Планируется	Планируется
PIPE	Планируется [2]

примечание

[1]: Поддерживается настройка процесса Broker.

[2]: В настоящее время выгрузка данных с помощью PIPE не поддерживается.

[3]: Вам нужно примонтировать устройство NAS как NFS в одну и ту же директорию каждого узла BE или CN для доступа к файлам в NFS через протокол file://.

Параметры, связанные с форматом файла

Параметры формата файла для загрузки

Формат файла	Параметр	Метод загрузки
		Stream Load	INSERT from FILES	Broker Load	Routine Load	Spark Load
CSV	column_separator	Да	Да (v1.5.2+)	Да [1]
	row_delimiter	Да		Да [2] (v1.5.2+)	Да [3] (v1.5.2+)	Планируется
	enclose	Да (v1.5.2+)		Да (v1.5.2+)	Да (v1.5.2+)	Планируется
	escape
	skip_header				Планируется
	trim_space				Да (v1.5.2+)
JSON	jsonpaths	Да	Планируется	Да (v1.5.2+)	Да	Планируется
	strip_outer_array
	json_root
	ignore_json_size				Планируется

примечание

[1]: Соответствующий параметр — COLUMNS TERMINATED BY.

[2]: Соответствующий параметр — ROWS TERMINATED BY.

[3]: Соответствующий параметр — ROWS TERMINATED BY.

Параметры формата файла для выгрузки

Формат файла	Параметр	Метод выгрузки
		INSERT INTO FILES	EXPORT
CSV	column_separator	Да (v1.5.2+)	Да
	line_delimiter [1]

примечание

[1]: Соответствующий параметр при загрузке данных — row_delimiter.

Форматы сжатия

Форматы сжатия для загрузки

Формат файла	Формат сжатия	Метод загрузки
		Stream Load	Broker Load	INSERT from FILES	Routine Load	Spark Load
CSV	deflate bzip2 gzip lz4_frame zstd	Да [1]	Да [2]	Планируется	Планируется	Планируется
JSON		Да (v1.5.2+) [3]	Планируется	Н/Д	Планируется	Н/Д
Parquet	gzip lz4 snappy zlib zstd	Н/Д	Да [4]		Планируется	Да [4]
ORC

примечание

[1]: В настоящее время только при загрузке файлов CSV с помощью Stream Load можно указать формат сжатия с помощью format=gzip, что указывает на файлы CSV, сжатые gzip. Форматы deflate и bzip2 также поддерживаются.

[2]: Broker Load не поддерживает указание формата сжатия файлов CSV с помощью параметра format. Broker Load определяет формат сжатия по расширению файла. Расширение файлов, сжатых gzip, — .gz, а файлов, сжатых zstd, — .zst. Кроме того, другие параметры, связанные с format, такие как trim_space и enclose, также не поддерживаются.

[3]: Поддерживается указание формата сжатия с помощью compression = gzip.

[4]: Поддерживается библиотекой Arrow. Настройка параметра compression не требуется.

Форматы сжатия для выгрузки

Формат файла	Формат сжатия	Метод выгрузки
		INSERT INTO FILES	INSERT INTO Catalog			EXPORT
			Hive	Iceberg	Hudi/Delta
CSV	deflate bzip2 gzip lz4_frame zstd	Планируется	Планируется	Планируется	Планируется	Планируется
JSON	Н/Д	Н/Д	Н/Д	Н/Д	Н/Д	Н/Д
Parquet	gzip lz4 snappy zstd	Да (v1.5.2+)	Да (v1.5.2+)	Да (v1.5.2+)	Планируется	Н/Д
ORC

Учётные данные

Загрузка — Аутентификация

Аутентификация	Метод загрузки
	Stream Load	INSERT from FILES	Broker Load	Routine Load	External Catalog
Единичный Kerberos	Н/Д	Да (v1.5.2+)	Да [1] (версии ранее v1.5.2)	Да [2] (v1.5.2+)	Да
Kerberos Ticket Granting Ticket (TGT)	Н/Д	Планируется			Да (v1.5.2+)
Единый KDC, множественный Kerberos	Н/Д
Базовая аутентификация доступа (пара ключей доступа, IAM Role)	Н/Д	Да (HDFS и S3-совместимое объектное хранилище)		Да [3]	Да

примечание

[1]: Для HDFS Selena поддерживает как простую аутентификацию, так и аутентификацию Kerberos.

[2]: Когда протокол безопасности установлен на sasl_plaintext или sasl_ssl, поддерживаются как аутентификация SASL, так и GSSAPI (Kerberos).

[3]: Когда протокол безопасности установлен на sasl_plaintext или sasl_ssl, поддерживаются как аутентификация SASL, так и PLAIN.

Выгрузка — Аутентификация

	INSERT INTO FILES	EXPORT
Единичный Kerberos	Планируется	Планируется

Загрузка — Другие параметры и функции

Параметр и функция	Метод загрузки
	Stream Load	INSERT from FILES	INSERT from SELECT/VALUES	Broker Load	PIPE	Routine Load	Spark Load
partial_update	Да (v1.5.2+)	Да [1] (v1.5.2+)		Да (v1.5.2+)	Н/Д	Да (v1.5.2+)	Планируется
partial_update_mode	Да (v1.5.2+)	Планируется		Да (v1.5.2+)	Н/Д	Планируется	Планируется
COLUMNS FROM PATH	Н/Д	Да (v1.5.2+)	Н/Д	Да	Н/Д	Н/Д	Да
timezone или сессионная переменная time_zone [2]	Да [3]	Да [4]	Да [4]	Да [4]	Планируется	Да [4]	Планируется
Точность времени — микросекунды	Да	Да	Да	Да (v1.5.2+)	Планируется	Да	Да

примечание

[1]: Начиная с v1.5.2, Selena поддерживает частичные обновления в режиме Row для INSERT INTO путём указания списка столбцов.

[2]: Установка часового пояса с помощью параметра или сессионной переменной влияет на результаты, возвращаемые функциями strftime(), alignment_timestamp() и from_unixtime().

[3]: Поддерживается только параметр timezone.

[4]: Поддерживается только сессионная переменная time_zone.

Выгрузка — Другие параметры и функции

Параметр и функция	INSERT INTO FILES	EXPORT
target_max_file_size	Да (v1.5.2+)	Планируется
single
Partitioned_by
Сессионная переменная time_zone	Планируется
Точность времени — микросекунды	Планируется	Планируется