Перейти к основному содержимому
Версия: 2.0.x

BladePipe

Введение​

BladePipe — это инструмент для репликации данных в режиме реального времени, перемещающий данные между более чем 30 базами данных, очередями сообщений, поисковыми системами, системами кэширования, хранилищами данных реального времени, озерами данных и многим другим с сверхнизкой задержкой. Он отличается эффективностью, стабильностью и масштабируемостью, совместимостью с различными движками баз данных, управлением в одном месте, повышенной безопасностью и сложными преобразованиями данных. BladePipe помогает разрушать силосы данных, увеличивая ценность данных.

image.png

Функции​

BladePipe предоставляет визуализированный интерфейс управления, позволяющий легко создавать DataJobs для достижения миграции схем, миграции данных, синхронизации, проверки и исправления и многого другого. Кроме того, он поддерживает более точные и настраиваемые конфигурации через настройки параметров. Теперь BladePipe поддерживает перемещение данных из следующих источников DataSources в Selena:

Источник DataSourceМиграция схемыМиграция данныхСинхронизация данныхПроверка и исправление
MySQL/MariaDB/AuroraMySQLДаДаДаДа
OracleДаДаДаДа
PostgreSQL/AuroraPostgreSQLДаДаДаДа
SQL ServerДаДаДаДа
KafkaНетНетДаНет
AutoMQНетНетДаНет
TiDBДаДаДаДа
HanaДаДаДаДа
PolarDB for MySQLДаДаДаДа
Db2ДаДаДаДа
к сведению

Для получения дополнительной информации о поддерживаемых функциях и настройках параметров обратитесь к BladePipe Connections.

Установка​

Следуйте инструкциям в Install BladePipe Worker (Docker) или Install BladePipe Worker (Binary) для загрузки и установки BladePipe Worker.

Пример​

Используя экземпляр MySQL в качестве примера, в следующем разделе описывается, как перенести данные из MySQL в Selena.

Добавление DataSources​

  1. Войдите в BladePipe Cloud. Нажмите DataSource > Add DataSource.

  2. Выберите Selena в качестве Type и заполните форму настройки.

    • Client Address: Порт, который Selena предоставляет для MySQL Client. BladePipe запрашивает метаданные в базах данных через него.
    • Account: Имя пользователя базы данных Selena. Для записи данных в Selena требуется привилегия INSERT. Следуйте инструкциям в GRANT, чтобы предоставить пользователю базы данных привилегию INSERT.
    • Http Address: Порт, используемый для приема запроса от BladePipe для записи данных в Selena.

    image.png

  3. Нажмите Test Connection. После успешного подключения нажмите Add DataSource, чтобы добавить DataSource.

  4. Добавьте MySQL DataSource, следуя вышеуказанным шагам.

Создание DataJob​

  1. Нажмите DataJob > Create DataJob.

  2. Выберите исходный и целевой DataSources и нажмите Test Connection, чтобы убедиться, что подключение к исходному и целевому DataSources успешно.

    image.png

  3. Выберите Incremental для типа DataJob вместе с опцией Full Data.

    image.png

  4. Выберите таблицы для репликации. Обратите внимание, что целевые таблицы Selena, автоматически созданные после миграции схемы, имеют первичные ключи, поэтому исходные таблицы без первичных ключей в настоящее время не поддерживаются.

    image.png

  5. Выберите столбцы для репликации.

    image.png

  6. Подтвердите создание DataJob.

    image.png

  7. DataJob запускается автоматически. BladePipe автоматически запустит следующие DataTasks:

    • Schema Migration: Схемы исходных таблиц будут перенесены в целевой экземпляр.
    • Full Data: Все существующие данные исходных таблиц будут полностью перенесены в целевой экземпляр.
    • Incremental: Текущие изменения данных будут непрерывно синхронизироваться с целевым экземпляром (с задержкой менее минуты).

image.png