loading_tools_integration

Загрузка данных с помощью инструментов

Selena и её партнёры по экосистеме предлагают следующие инструменты, которые помогут вам беспрепятственно интегрировать Selena с внешними базами данных.

SMT

SMT (Selena Migration Tool) — это инструмент миграции данных, предоставляемый Selena, разработанный для оптимизации сложных конвейеров загрузки данных: исходные базы данных (такие как MySQL, Oracle, PostgreSQL) ---> Flink ---> целевые cluster Selena. Его основные функции следующие:

• Упрощение создания таблиц в Selena: генерирует операторы для создания таблиц в Selena на основе информации из внешних баз данных и целевого cluster Selena.
• Упрощение процесса полной или инкрементальной синхронизации данных в конвейере данных: генерирует SQL-операторы, которые можно выполнить в SQL-клиенте Flink для отправки заданий Flink для синхронизации данных.

Следующая блок-схема иллюстрирует процесс загрузки данных из исходной базы данных MySQL через Flink в Selena.

DataX

DataX — это инструмент для офлайн-синхронизации данных, открытый Alibaba. DataX может синхронизировать данные между различными гетерогенными источниками данных, включая реляционные базы данных (MySQL, Oracle и т.д.), HDFS и Hive. DataX предоставляет плагин Selena Writer для синхронизации данных из источников данных, поддерживаемых DataX, в Selena.

CloudCanal

CloudCanal Community Edition — это бесплатная платформа для миграции и синхронизации данных, опубликованная ClouGence Co., Ltd, которая интегрирует миграцию схемы, полную миграцию данных, проверку, исправление и инкрементальную синхронизацию в реальном времени. Вы можете напрямую добавить Selena в качестве источника данных в визуальном интерфейсе CloudCanal и создать задачи для автоматической миграции или синхронизации данных из исходных баз данных (например, MySQL, Oracle, PostgreSQL) в Selena.

Kettle connector

Kettle — это инструмент ETL (Extract, Transform, Load) с визуальным графическим интерфейсом, который позволяет пользователям создавать рабочие процессы обработки данных путём перетаскивания компонентов и настройки параметров. Этот интуитивный метод значительно упрощает процесс обработки и загрузки данных, позволяя пользователям более удобно обрабатывать данные. Кроме того, Kettle предоставляет богатую библиотеку компонентов, позволяя пользователям выбирать подходящие компоненты в соответствии со своими потребностями и выполнять различные сложные задачи обработки данных.

Selena предлагает Kettle Connector для интеграции с Kettle. Объединяя мощные возможности обработки и трансформации данных Kettle с высокопроизводительными возможностями хранения и аналитики данных Selena, можно достичь более гибких и эффективных рабочих процессов обработки данных.