Перейти к основному содержимому
Версия: 1.5.x

BladePipe

Введение​

BladePipe — это инструмент репликации данных в реальном времени end-to-end, который перемещает данные между более чем 30 базами данных, очередями сообщений, поисковыми системами, системами кэширования, хранилищами данных реального времени, озерами данных и многим другим с ультранизкой задержкой. Он отличается эффективностью, стабильностью и масштабируемостью, совместимостью с различными движками баз данных, универсальным управлением, повышенной безопасностью и сложными преобразованиями данных. BladePipe помогает разрушить изолированность данных, увеличивая их ценность.

image.png

Возможности​

BladePipe предоставляет визуализированный интерфейс управления, позволяющий легко создавать DataJobs для достижения миграции схем, миграции данных, синхронизации, проверки и исправления и многого другого. Кроме того, он поддерживает более детальные и настраиваемые конфигурации через настройки параметров. Сейчас BladePipe поддерживает перемещение данных из следующих источников DataSources в Selena:

Источник DataSourceМиграция схемМиграция данныхСинхронизация данныхПроверка и исправление
MySQL/MariaDB/AuroraMySQLДаДаДаДа
OracleДаДаДаДа
PostgreSQL/AuroraPostgreSQLДаДаДаДа
SQL ServerДаДаДаДа
KafkaНетНетДаНет
AutoMQНетНетДаНет
TiDBДаДаДаДа
HanaДаДаДаДа
PolarDB for MySQLДаДаДаДа
Db2ДаДаДаДа
к сведению

Для получения дополнительной информации о поддерживаемых функциях и настройках параметров обратитесь к BladePipe Connections.

Установка​

Следуйте инструкциям в Install BladePipe Worker (Docker) или Install BladePipe Worker (Binary) для загрузки и установки BladePipe Worker.

Пример​

На примере экземпляра MySQL в следующем разделе описывается, как мигрировать данные из MySQL в Selena.

Добавление DataSources​

  1. Войдите в BladePipe Cloud. Нажмите DataSource > Add DataSource.

  2. Выберите Selena в качестве Type и заполните форму настройки.

    • Client Address: Порт, который Selena предоставляет для MySQL Client. BladePipe запрашивает метаданные в базах данных через него.
    • Account: Имя пользователя базы данных Selena. Для записи данных в Selena требуется привилегия INSERT. Следуйте инструкции, приведенной в GRANT, чтобы предоставить пользователю базы данных привилегию INSERT.
    • Http Address: Порт, используемый для получения запроса от BladePipe для записи данных в Selena.

    image.png

  3. Нажмите Test Connection. После успешного подключения нажмите Add DataSource, чтобы добавить DataSource.

  4. Добавьте MySQL DataSource, следуя приведенным выше шагам.

Создание DataJob​

  1. Нажмите DataJob > Create DataJob.

  2. Выберите исходные и целевые DataSources и нажмите Test Connection, чтобы убедиться, что подключение к исходным и целевым DataSources успешно.

    image.png

  3. Выберите Incremental для типа DataJob вместе с опцией Full Data.

    image.png

  4. Выберите таблицы для репликации. Обратите внимание, что целевые таблицы Selena, автоматически созданные после миграции схем, имеют первичные ключи, поэтому исходные таблицы без первичных ключей в настоящее время не поддерживаются.

    image.png

  5. Выберите столбцы для репликации.

    image.png

  6. Подтвердите создание DataJob.

    image.png

  7. DataJob запускается автоматически. BladePipe автоматически запустит следующие DataTasks:

    • Schema Migration: Схемы исходных таблиц будут мигрированы в целевой экземпляр.
    • Full Data: Все существующие данные исходных таблиц будут полностью мигрированы в целевой экземпляр.
    • Incremental: Текущие изменения данных будут непрерывно синхронизироваться с целевым экземпляром (с задержкой менее минуты).

image.png