loading_tools_integration

Загрузка данных с помощью инструментов

Selena и её партнеры по экосистеме предлагают следующие инструменты, которые помогут вам легко интегрировать Selena с внешними базами данных.

SMT

SMT (Selena Migration Tool) — это инструмент миграции данных, предоставляемый Selena, предназначенный для оптимизации сложных конвейеров загрузки данных: исходные базы данных (такие как MySQL, Oracle, PostgreSQL) ---> Flink ---> целевые кластеры Selena. Его основные функции следующие:

• Упрощает создание таблиц в Selena: Генерирует операторы для создания таблиц в Selena на основе информации из внешних баз данных и целевого кластера Selena.
• Упрощает процесс полной или инкрементальной синхронизации данных в конвейере данных: Генерирует SQL-операторы, которые можно выполнить в SQL-клиенте Flink для отправки заданий Flink по синхронизации данных.

Следующая блок-схема иллюстрирует процесс загрузки данных из исходной базы данных MySQL через Flink в Selena.

DataX

DataX — это инструмент для офлайн-синхронизации данных с открытым исходным кодом от Alibaba. DataX может синхронизировать данные между различными гетерогенными источниками данных, включая реляционные базы данных (MySQL, Oracle и др.), HDFS и Hive. DataX предоставляет плагин Selena Writer для синхронизации данных из источников данных, поддерживаемых DataX, в Selena.

CloudCanal

CloudCanal Community Edition — это бесплатная платформа миграции и синхронизации данных, выпущенная ClouGence Co., Ltd, которая интегрирует миграцию схем, полную миграцию данных, проверку, исправление и инкрементальную синхронизацию в реальном времени. Вы можете напрямую добавить Selena как источник данных в визуальном интерфейсе CloudCanal и создать задачи для автоматической миграции или синхронизации данных из исходных баз данных (например, MySQL, Oracle, PostgreSQL) в Selena.

Kettle connector

Kettle — это ETL (Extract, Transform, Load) инструмент с визуальным графическим интерфейсом, который позволяет пользователям создавать рабочие процессы обработки данных путем перетаскивания компонентов и настройки параметров. Этот интуитивный метод значительно упрощает процесс обработки и загрузки данных, позволяя пользователям работать с данными более удобно. Кроме того, Kettle предоставляет богатую библиотеку компонентов, позволяя пользователям выбирать подходящие компоненты в соответствии с их потребностями и выполнять различные сложные задачи обработки данных.

Selena предлагает Kettle Connector для интеграции с Kettle. Объединив мощные возможности обработки и преобразования данных Kettle с высокопроизводительными возможностями хранения и анализа данных Selena, можно достичь более гибких и эффективных рабочих процессов обработки данных.