Поддержка функций: Распределение данных

Этот документ описывает функции партиционирования и бакетирования, поддерживаемые Selena.

Поддерживаемые типы таблиц

• Бакетирование

  Hash Bucketing поддерживается во всех типах таблиц. Random Bucketing (начиная с v1.5.2) поддерживается только в таблицах Duplicate Key.

• Партиционирование

  Expression Partitioning (начиная с v1.5.2), Range Partitioning и List Partitioning (начиная с v1.5.2) поддерживаются во всех типах таблиц.

Бакетирование

Функция	Ключевой момент	Статус поддержки	Примечание
Стратегия бакетирования	Hash Bucketing	Да
	Random Bucketing	Да (v1.5.2+)	Random Bucketing поддерживается только в таблицах Duplicate Key. Начиная с v1.5.2, Selena поддерживает динамическое изменение количества tablet для создания в соответствии с информацией о кластере и размером данных.
Тип данных Bucket Key	Date, Integer, String	Да
Количество бакетов	Автоматическая установка количества бакетов	Да (v1.5.2+)	Автоматически определяется количеством узлов BE или объемом данных самой большой исторической партиции. Логика была отдельно оптимизирована для партиционированных и непартиционированных таблиц в более поздних версиях.
	Динамическое увеличение количества бакетов для Random Bucketing	Да (v1.5.2+)

Партиционирование

Функция	Ключевой момент	Статус поддержки	Примечание
Стратегия партиционирования	Expression Partitioning	Да (v1.5.2+)	Включая партиционирование на основе выражения временной функции (с v1.5.2) и партиционирование на основе выражения столбца (с v1.5.2) Поддерживаемые временные функции: date_trunc, time_slice
	Range Partitioning	Да (v1.5.2+)	Начиная с v1.5.2, три специфические временные функции могут использоваться для Partition Keys: from_unixtime, from_unixtime_ms, str2date, substr/substring.
	List Partitioning	Да (v1.5.2+)
Тип данных Partition Key	Date, Integer, Boolean	Да
	String	Да	Только Expression Partitioning и List Partitioning поддерживают Partition Key типа String. Range Partitioning не поддерживает Partition Key типа String. Необходимо использовать str2date для преобразования столбца в типы date.

Различия между стратегиями партиционирования

	Expression Partitioning		Range Partitioning	List Partitioning
	Партиционирование на основе выражения временной функции	Партиционирование на основе выражения столбца
Тип данных	Date (DATE/DATETIME)	String (кроме BINARY) Date (DATE/DATETIME) Integer и Boolean	String (кроме BINARY) [1] Date или timestamp [1] Integer	String (кроме BINARY) Date (DATE/DATETIME) Integer и Boolean
Поддержка нескольких Partition Keys	/ (Поддерживает только один Partition Key типа date)	Да	Да	Да
Поддержка значений Null для Partition Keys	Да	/ [2]	Да	/ [2]
Ручное создание партиций перед загрузкой данных	/ [3]	/ [3]	Да, если партиции создаются вручную пакетно Нет, если принята стратегия динамического партиционирования	Да
Автоматическое создание партиций во время загрузки данных	Да	Да	/	/

примечание

• [1]: Необходимо использовать from_unixtime, str2date или другие временные функции для преобразования столбца в типы date.
• [2]: Значения Null будут поддерживаться в Partition Keys для List Partitioning начиная с v1.5.2.
• [3]: Партиции создаются автоматически.

Для подробного сравнения между List Partitioning и Expression Partitioning обратитесь к Сравнение между list partitioning и expression partitioning.