Загрузка данных
🗃️ Обзор загрузки
5 элементов
🗃️ Загрузка из объектного хранилища
8 элементов
📄️ Загрузка данных из локальной файловой системы
Selena предоставляет два метода загрузки данных из локальной файловой системы:
📄️ Загрузка данных из HDFS
Selena предоставляет следующие варианты загрузки данных из HDFS:
🗃️ Загрузка из Apache Kafka
2 элемента
🗃️ Загрузка из Apache Spark
2 элемента
📄️ Загрузка данных с помощью INSERT
В этой теме описывается, как загружать данные в Selena с помощью SQL оператора - INSERT.
📄️ SQL-транзакции
Запустите простую SQL-транзакцию для фиксации нескольких DML-операторов в пакете.
📄️ Загрузка данных с использованием транзакционного интерфейса Stream Load
Начиная с версии v1.5.2, Selena предоставляет транзакционный интерфейс Stream Load для реализации двухфазной фиксации (2PC) для транзакций, которые выполняются для загрузки данных из внешних систем, таких как Apache Flink и Apache Kafka. Транзакционный интерфейс Stream Load помогает повысить производительность потоковых загрузок с высокой параллельностью.
📄️ Синхронизация в реальном времени из MySQL
Selena поддерживает несколько методов синхронизации данных из MySQL в Selena в реальном времени, обеспечивая аналитику больших объемов данных с низкой задержкой.
📄️ Непрерывная загрузка данных из Apache Flink®
Selena предоставляет самостоятельно разработанный connector под названием Selena Connector for Apache Flink® (сокращённо Flink connector) для загрузки данных в таблицу Selena с использованием Flink. Основной принцип заключается в накоплении данных с последующей загрузкой всех данных за один раз в Selena через STREAM LOAD.
📄️ Непрерывная загрузка данных из Apache Pulsar
Начиная с версии Selena 2.5, Routine Load поддерживает непрерывную загрузку данных из Apache Pulsar. Pulsar — это распределённая платформа обмена сообщениями и потоковой передачи с открытым исходным кодом, основанная на архитектуре разделения хранения и вычислений. Загрузка данных из Pulsar через Routine Load аналогична загрузке данных из Apache Kafka. В этой теме используются данные в формате CSV в качестве примера для демонстрации загрузки данных из Apache Pulsar через Routine Load.
📄️ Изменение данных через загрузку
Таблицы с Primary Key, предоставляемые Selena, позволяют вносить изменения в данные таблиц Selena, выполняя задачи Stream Load, Broker Load или Routine Load. Эти изменения данных включают вставки, обновления и удаления. Однако таблицы с Primary Key не поддерживают изменение данных с использованием Spark Load или INSERT.
📄️ Трансформация данных при загрузке
Selena поддерживает трансформацию данных при загрузке.
📄️ Загрузка данных с помощью инструментов
Selena и её партнёры по экосистеме предлагают следующие инструменты, которые помогут вам беспрепятственно интегрировать Selena с внешними базами данных.
📄️ Строгий режим
Строгий режим — это необязательное свойство, которое можно настроить для загрузки данных. Он влияет на поведение загрузки и окончательные загруженные данные.