Загрузка данных

🗃️ Обзор загрузки

5 элементов

🗃️ Загрузка из объектного хранилища

8 элементов

📄️ Загрузка данных из локальной файловой системы

Selena предоставляет два метода загрузки данных из локальной файловой системы:

📄️ Загрузка данных из HDFS

Selena предоставляет следующие варианты загрузки данных из HDFS:

🗃️ Загрузка из Apache Kafka

2 элемента

🗃️ Загрузка из Apache Spark

2 элемента

📄️ Загрузка данных с помощью INSERT

В этой теме описывается, как загружать данные в Selena с помощью SQL оператора - INSERT.

📄️ SQL-транзакции

Запустите простую SQL-транзакцию для фиксации нескольких DML-операторов в пакете.

📄️ Загрузка данных с использованием транзакционного интерфейса Stream Load

Начиная с версии v1.5.2, Selena предоставляет транзакционный интерфейс Stream Load для реализации двухфазной фиксации (2PC) для транзакций, которые выполняются для загрузки данных из внешних систем, таких как Apache Flink и Apache Kafka. Транзакционный интерфейс Stream Load помогает повысить производительность потоковых загрузок с высокой параллельностью.

📄️ Синхронизация в реальном времени из MySQL

Selena поддерживает несколько методов синхронизации данных из MySQL в Selena в реальном времени, обеспечивая аналитику больших объемов данных с низкой задержкой.

📄️ Непрерывная загрузка данных из Apache Flink®

Selena предоставляет самостоятельно разработанный connector под названием Selena Connector for Apache Flink® (сокращённо Flink connector) для загрузки данных в таблицу Selena с использованием Flink. Основной принцип заключается в накоплении данных с последующей загрузкой всех данных за один раз в Selena через STREAM LOAD.

📄️ Непрерывная загрузка данных из Apache Pulsar

Начиная с версии Selena 2.5, Routine Load поддерживает непрерывную загрузку данных из Apache Pulsar. Pulsar — это распределённая платформа обмена сообщениями и потоковой передачи с открытым исходным кодом, основанная на архитектуре разделения хранения и вычислений. Загрузка данных из Pulsar через Routine Load аналогична загрузке данных из Apache Kafka. В этой теме используются данные в формате CSV в качестве примера для демонстрации загрузки данных из Apache Pulsar через Routine Load.

📄️ Изменение данных через загрузку

Таблицы с Primary Key, предоставляемые Selena, позволяют вносить изменения в данные таблиц Selena, выполняя задачи Stream Load, Broker Load или Routine Load. Эти изменения данных включают вставки, обновления и удаления. Однако таблицы с Primary Key не поддерживают изменение данных с использованием Spark Load или INSERT.

📄️ Трансформация данных при загрузке

Selena поддерживает трансформацию данных при загрузке.

📄️ Загрузка данных с помощью инструментов

Selena и её партнёры по экосистеме предлагают следующие инструменты, которые помогут вам беспрепятственно интегрировать Selena с внешними базами данных.

📄️ Строгий режим

Строгий режим — это необязательное свойство, которое можно настроить для загрузки данных. Он влияет на поведение загрузки и окончательные загруженные данные.