Архитектура и компоненты

Платформа Данных Селена включает следующие компоненты:

1. Мастер сервер

2. Вычислительный сервер

3. Панель управления кластером (Cluster Manager)

4. Метакаталог данных

5. Мониторинг

6. Модуль среды разработки

7. Модуль хранения данных

Мастер и вычислительный серверы составляют ядро платформы — вычислительный движок (Engine) на базе StarRocks.

Архитектура и компоненты Платформы Данных Селена

Мастер сервер

Мастер сервер отвечают за управление метаданными, управление клиентскими соединениями, планирование запросов и диспетчеризацию запросов. Каждый Мастер сервер хранит и поддерживает полную копию метаданных в своей памяти, что гарантирует неизбирательное обслуживание среди Мастер серверов. Мастер сервер может выполнять одну из ролей - лидер, последователь и наблюдатель.

Лидер считывает и записывает метаданные. Лидер обновляет метаданные, а затем синхронизирует изменения метаданных с последователями и наблюдателями. Записи данных считаются успешными только после того, как изменения метаданных синхронизированы с более чем половиной последователей.

Последователи синхронизируют и воспроизводят журналы с лидера для обновления метаданных.

Вычислительный сервер

Основной задачей Вычислительных серверов является выполнение SQL запросов. Мастер сервер разбирают каждый SQL-запрос на логический план выполнения в соответствии с семантикой запроса, а затем преобразуют логический план в физические планы выполнения, которые могут быть выполнены на Вычислительных серверах. Вычислительные сервера, хранящие данные назначения, выполняют запрос. Это устраняет необходимость в передаче и копировании данных, достигая высокой производительности запроса.

Панель управления кластером (Cluster Manager)

Cluster Manager - основной инструмент управления кластером, обеспечивает администраторам все необходимые функции по созданию и настройке кластера. Обеспечивает функции добавления и удаления нод, назначение типов и развертывание приложений на новый нодах. Помимо этого, выполняет функции безопасности, обеспечивая контроль доступа как к самим интерфейсам, используемым в платформе компонентов, так и к данным, расположенным в хранилище.

Модуль загрузки данных

Модуль загрузки данных обеспечивает бесперебойную загрузку данных из различных систем источников данных в целевое хранилище. Компонент обеспечивает возможность извлекать данные из самых разнообразных систем включая самые популярные реляционные и No-SQL базы данных, шины данных и т.д. Кроме задач по загрузке данных, компонент реализует функции визуального формирования потоков данных, и настройки расписания запусков, а также выполнять функции отладки и мониторинга выполнения процессов работы с данными.

Метакаталог данных

Метакаталог данных содержит информацию о метаданных, хранящихся в объектном хранилище, и обеспечивает быстрое формирование запросов на данные в объектном хранилище. Каталог метаданных в архитектуре платформы Селена обеспечивает единое представление о хранящихся в объектном хранилище данных.

Мониторинг

Мониторинг в системе обеспечивается выделенным модулем, который собирает всю необходимую информацию о работе кластера, состоянии основных компонентов и вычислительных мощностях. Пользователям предоставляется целый ряд пред настроенных мониторов отображая информацию от загрузки ЦПУ на нодах мастер серверов, заканчивая производительностью и количеством выполняемых запросов на вычислительных узлах кластера.

Модуль среды разработки

Модуль среды разработки позволяет различным бизнес-пользователям быстро и просто получить данные. Для разработчиков и анализитиков обеспечивается возможность создания ad-hoc запросов и формирование блокнотов. А для бизнес-пользователей для работы с данным компонентом нет необходимости уметь писать sql-запросы. Все обращения в систему формируются использую семантику, далее они автоматически преобразуются в SQL код, который в свою очередь и выполняется, возвращая ожидаемый результат пользователю.

Модуль хранения данных

В качестве компонента, отвечающего за непосредственное хранение данных, могут выступать два решения для хранения: объектное хранилище S3 и HDFS. Платформа хранения и обработки данных Селена может поставляться вместе с S3 на базе Minio, но при этом может быть использовано любое клиентское S3 Compatible решение, а также HDFS для реализации хранения данных. Платформа обеспечивает возможность записывать и хранить данные в различных форматах, в зависимости от использования внешнего метакаталлога данные будут храниться в открытом формате, либо в нативном.