📄️ Загрузка данных с использованием Spark connector (рекомендуется)

Selena предоставляет собственный коннектор под названием Selena Connector for Apache Spark™ (сокращенно Spark connector), который помогает загружать данные в таблицу Selena с помощью Spark. Основной принцип заключается в накоплении данных и последующей загрузке их все сразу в Selena через STREAM LOAD. Spark connector реализован на основе Spark DataSource V2. DataSource может быть создан с использованием Spark DataFrames или Spark SQL. Поддерживаются как пакетный, так и структурированный потоковый режимы.

📄️ Массовая загрузка данных с использованием Spark Load

Этот тип загрузки использует внешние ресурсы Apache Spark™ для предварительной обработки импортируемых данных, что улучшает производительность импорта и экономит вычислительные ресурсы. Он в основном используется для первоначальной миграции и импорта больших объемов данных в Selena (объемы данных до уровня TB).