Аутентификация в Microsoft Azure Storage

Начиная с версии 1.5.0, Selena может интегрироваться с Microsoft Azure Storage (Azure Blob Storage или Azure Data Lake Storage) в следующих сценариях:

Пакетная загрузка данных из Azure Storage.
Резервное копирование данных в Azure Storage и восстановление данных из Azure Storage.
Запросы к файлам Parquet и ORC в Azure Storage.
Запросы к таблицам Hive, Iceberg, Hudi и Delta Lake в Azure Storage.

Selena поддерживает следующие типы учетных записей Azure Storage:

Azure Blob Storage
Azure Data Lake Storage Gen1
Azure Data Lake Storage Gen2

В этой теме Hive catalog, внешняя таблица файлов и Broker Load используются в качестве примеров для демонстрации того, как Selena интегрируется с Azure Storage, используя эти типы учетных записей Azure Storage. Информацию о параметрах в примерах см. в разделах Hive catalog, Внешняя таблица файлов и Broker Load.

Blob Storage

Selena поддерживает использование одного из следующих методов аутентификации для доступа к Blob Storage:

Shared Key
SAS Token

ПРИМЕЧАНИЕ

При загрузке данных или прямом запросе файлов из Blob Storage необходимо использовать протокол wasb или wasbs для доступа к данным:

Если ваша учетная запись хранения разрешает доступ по HTTP, используйте протокол wasb и укажите путь к файлу как wasb://<container>@<storage_account>.blob.core.windows.net/<path>/<file_name>.

Если ваша учетная запись хранения разрешает доступ по HTTPS, используйте протокол wasbs и укажите путь к файлу как wasbs://<container>@<storage_account>.blob.core.windows.net/<path>/<file_name>.

Shared Key

External catalog

Настройте azure.blob.storage_account и azure.blob.shared_key следующим образом в операторе CREATE EXTERNAL CATALOG:

CREATE EXTERNAL CATALOG hive_catalog_azure
PROPERTIES
(
    "type" = "hive", 
    "hive.metastore.uris" = "thrift://xx.xx.xx.xx:9083",
    "azure.blob.storage_account" = "<blob_storage_account_name>",
    "azure.blob.shared_key" = "<blob_storage_account_shared_key>"
);

Внешняя таблица файлов

Настройте azure.blob.storage_account, azure.blob.shared_key и путь к файлу (path) следующим образом в операторе CREATE EXTERNAL TABLE:

CREATE EXTERNAL TABLE external_table_azure
(
    id varchar(65500),
    attributes map<varchar(100), varchar(2000)>
) 
ENGINE=FILE
PROPERTIES
(
    "path" = "wasb[s]://<container>@<storage_account>.blob.core.windows.net/<path>/<file_name>",
    "format" = "ORC",
    "azure.blob.storage_account" = "<blob_storage_account_name>",
    "azure.blob.shared_key" = "<blob_storage_account_shared_key>"
);

Broker Load

Настройте azure.blob.storage_account, azure.blob.shared_key и путь к файлу (DATA INFILE) следующим образом в операторе LOAD LABEL:

LOAD LABEL test_db.label000
(
    DATA INFILE("wasb[s]://<container>@<storage_account>.blob.core.windows.net/<path>/<file_name>")
    INTO TABLE test_ingestion_2
    FORMAT AS "parquet"
)
WITH BROKER
(
    "azure.blob.storage_account" = "<blob_storage_account_name>",
    "azure.blob.shared_key" = "<blob_storage_account_shared_key>"
);

SAS Token

External catalog

Настройте azure.blob.storage_account, azure.blob.container и azure.blob.sas_token следующим образом в операторе CREATE EXTERNAL CATALOG:

CREATE EXTERNAL CATALOG hive_catalog_azure
PROPERTIES
(
    "type" = "hive", 
    "hive.metastore.uris" = "thrift://xx.xx.xx.xx:9083",
    "azure.blob.storage_account" = "<blob_storage_account_name>",
    "azure.blob.container" = "<blob_container_name>",
    "azure.blob.sas_token" = "<blob_storage_account_SAS_token>"
);

Внешняя таблица файлов

Настройте azure.blob.storage_account, azure.blob.container, azure.blob.sas_token и путь к файлу (path) следующим образом в операторе CREATE EXTERNAL TABLE:

CREATE EXTERNAL TABLE external_table_azure
(
    id varchar(65500),
    attributes map<varchar(100), varchar(2000)>
) 
ENGINE=FILE
PROPERTIES
(
    "path" = "wasb[s]://<container>@<storage_account>.blob.core.windows.net/<path>/<file_name>",
    "format" = "ORC",
    "azure.blob.storage_account" = "<blob_storage_account_name>",
    "azure.blob.container" = "<blob_container_name>",
    "azure.blob.sas_token" = "<blob_storage_account_SAS_token>"
);

Broker load

Настройте azure.blob.storage_account, azure.blob.container, azure.blob.sas_token и путь к файлу (DATA INFILE) следующим образом в операторе LOAD LABEL:

LOAD LABEL test_db.label000
(
    DATA INFILE("wasb[s]://<container>@<storage_account>.blob.core.windows.net/<path>/<file_name>")
    INTO TABLE target_table
    FORMAT AS "parquet"
)
WITH BROKER
(
    "azure.blob.storage_account" = "<blob_storage_account_name>",
    "azure.blob.container" = "<blob_container_name>",
    "azure.blob.sas_token" = "<blob_storage_account_SAS_token>"
);

Data Lake Storage Gen1

Selena поддерживает использование одного из следующих методов аутентификации для доступа к Data Lake Storage Gen1:

Managed Service Identity
Service Principal

ПРИМЕЧАНИЕ

При загрузке данных или запросе файлов из Data Lake Storage Gen1 необходимо использовать протокол adl для доступа к данным и указывать путь к файлу как adl://<data_lake_storage_gen1_name>.azuredatalakestore.net/<path>/<file_name>.

Managed Service Identity

External catalog

Настройте azure.adls1.use_managed_service_identity следующим образом в операторе CREATE EXTERNAL CATALOG:

CREATE EXTERNAL CATALOG hive_catalog_azure
PROPERTIES
(
    "type" = "hive", 
    "hive.metastore.uris" = "thrift://xx.xx.xx.xx:9083",
    "azure.adls1.use_managed_service_identity" = "true"
);

Внешняя таблица файлов

Настройте azure.adls1.use_managed_service_identity и путь к файлу (path) следующим образом в операторе CREATE EXTERNAL TABLE:

CREATE EXTERNAL TABLE external_table_azure
(
    id varchar(65500),
    attributes map<varchar(100), varchar(2000)>
) 
ENGINE=FILE
PROPERTIES
(
    "path" = "adl://<data_lake_storage_gen1_name>.azuredatalakestore.net/<path>/<file_name>",
    "format" = "ORC",
    "azure.adls1.use_managed_service_identity" = "true"
);

Broker Load

Настройте azure.adls1.use_managed_service_identity и путь к файлу (DATA INFILE) следующим образом в операторе LOAD LABEL:

LOAD LABEL test_db.label000
(
    DATA INFILE("adl://<data_lake_storage_gen1_name>.azuredatalakestore.net/<path>/<file_name>")
    INTO TABLE target_table
    FORMAT AS "parquet"
)
WITH BROKER
(
    "azure.adls1.use_managed_service_identity" = "true"
);

Service Principal

External catalog

Настройте azure.adls1.oauth2_client_id, azure.adls1.oauth2_credential и azure.adls1.oauth2_endpoint следующим образом в операторе CREATE EXTERNAL CATALOG:

CREATE EXTERNAL CATALOG hive_catalog_azure
PROPERTIES
(
    "type" = "hive", 
    "hive.metastore.uris" = "thrift://xx.xx.xx.xx:9083",
    "azure.adls1.oauth2_client_id" = "<application_client_id>",
    "azure.adls1.oauth2_credential" = "<application_client_credential>",
    "azure.adls1.oauth2_endpoint" = "<OAuth_2.0_authorization_endpoint_v2>"
);

Внешняя таблица файлов

Настройте azure.adls1.oauth2_client_id, azure.adls1.oauth2_credential, azure.adls1.oauth2_endpoint и путь к файлу (path) следующим образом в операторе CREATE EXTERNAL TABLE:

CREATE EXTERNAL TABLE external_table_azure
(
    id varchar(65500),
    attributes map<varchar(100), varchar(2000)>
) 
ENGINE=FILE
PROPERTIES
(
    "path" = "adl://<data_lake_storage_gen1_name>.azuredatalakestore.net/<path>/<file_name>",
    "format" = "ORC",
    "azure.adls1.oauth2_client_id" = "<application_client_id>",
    "azure.adls1.oauth2_credential" = "<application_client_credential>",
    "azure.adls1.oauth2_endpoint" = "<OAuth_2.0_authorization_endpoint_v2>"
);

Broker Load

Настройте azure.adls1.oauth2_client_id, azure.adls1.oauth2_credential, azure.adls1.oauth2_endpoint и путь к файлу (DATA INFILE) следующим образом в операторе LOAD LABEL:

LOAD LABEL test_db.label000
(
    DATA INFILE("adl://<data_lake_storage_gen1_name>.azuredatalakestore.net/<path>/<file_name>")
    INTO TABLE target_table
    FORMAT AS "parquet"
)
WITH BROKER
(
    "azure.adls1.oauth2_client_id" = "<application_client_id>",
    "azure.adls1.oauth2_credential" = "<application_client_credential>",
    "azure.adls1.oauth2_endpoint" = "<OAuth_2.0_authorization_endpoint_v2>"
);

Data Lake Storage Gen2

Selena поддерживает использование одного из следующих методов аутентификации для доступа к Data Lake Storage Gen2:

Managed Identity
Shared Key
Service Principal

ПРИМЕЧАНИЕ

При загрузке данных или запросе файлов из Data Lake Storage Gen2 необходимо использовать протокол abfs или abfss для доступа к данным:

Если ваша учетная запись хранения разрешает доступ по HTTP, используйте протокол abfs и укажите путь к файлу как abfs://<container>@<storage_account>.dfs.core.windows.net/<path>/<file_name>.

Если ваша учетная запись хранения разрешает доступ по HTTPS, используйте протокол abfss и укажите путь к файлу как abfss://<container>@<storage_account>.dfs.core.windows.net/<path>/<file_name>.

Managed Identity

Перед началом работы необходимо выполнить следующие подготовительные действия:

Отредактируйте виртуальные машины (VM), на которых развернут ваш кластер Selena.
Добавьте управляемые удостоверения к этим VM.
Убедитесь, что управляемые удостоверения связаны с ролью (Storage Blob Data Reader), авторизованной для чтения данных в вашей учетной записи хранения.

External catalog

Настройте azure.adls2.oauth2_use_managed_identity, azure.adls2.oauth2_tenant_id и azure.adls2.oauth2_client_id следующим образом в операторе CREATE EXTERNAL CATALOG:

CREATE EXTERNAL CATALOG hive_catalog_azure
PROPERTIES
(
    "type" = "hive", 
    "hive.metastore.uris" = "thrift://xx.xx.xx.xx:9083",
    "azure.adls2.oauth2_use_managed_identity" = "true",
    "azure.adls2.oauth2_tenant_id" = "<service_principal_tenant_id>",
    "azure.adls2.oauth2_client_id" = "<service_client_id>"
);

Внешняя таблица файлов

Настройте azure.adls2.oauth2_use_managed_identity, azure.adls2.oauth2_tenant_id, azure.adls2.oauth2_client_id и путь к файлу (path) следующим образом в операторе CREATE EXTERNAL TABLE:

CREATE EXTERNAL TABLE external_table_azure
(
    id varchar(65500),
    attributes map<varchar(100), varchar(2000)>
) 
ENGINE=FILE
PROPERTIES
(
    "path" = "abfs[s]://<container>@<storage_account>.dfs.core.windows.net/<path>/<file_name>",
    "format" = "ORC",
    "azure.adls2.oauth2_use_managed_identity" = "true",
    "azure.adls2.oauth2_tenant_id" = "<service_principal_tenant_id>",
    "azure.adls2.oauth2_client_id" = "<service_client_id>"
);

Broker Load

Настройте azure.adls2.oauth2_use_managed_identity, azure.adls2.oauth2_tenant_id, azure.adls2.oauth2_client_id и путь к файлу (DATA INFILE) следующим образом в операторе LOAD LABEL:

LOAD LABEL test_db.label000
(
    DATA INFILE("adfs[s]://<container>@<storage_account>.dfs.core.windows.net/<path>/<file_name>")
    INTO TABLE target_table
    FORMAT AS "parquet"
)
WITH BROKER
(
    "azure.adls2.oauth2_use_managed_identity" = "true",
    "azure.adls2.oauth2_tenant_id" = "<service_principal_tenant_id>",
    "azure.adls2.oauth2_client_id" = "<service_client_id>"
);

Shared Key

External catalog

Настройте azure.adls2.storage_account и azure.adls2.shared_key следующим образом в операторе CREATE EXTERNAL CATALOG:

CREATE EXTERNAL CATALOG hive_catalog_azure
PROPERTIES
(
    "type" = "hive", 
    "hive.metastore.uris" = "thrift://xx.xx.xx.xx:9083",
    "azure.adls2.storage_account" = "<storage_account_name>",
    "azure.adls2.shared_key" = "<shared_key>"
);

Внешняя таблица файлов

Настройте azure.adls2.storage_account, azure.adls2.shared_key и путь к файлу (path) следующим образом в операторе CREATE EXTERNAL TABLE:

CREATE EXTERNAL TABLE external_table_azure
(
    id varchar(65500),
    attributes map<varchar(100), varchar(2000)>
) 
ENGINE=FILE
PROPERTIES
(
    "path" = "abfs[s]://<container>@<storage_account>.dfs.core.windows.net/<path>/<file_name>",
    "format" = "ORC",
    "azure.adls2.storage_account" = "<storage_account_name>",
    "azure.adls2.shared_key" = "<shared_key>"
);

Broker Load

Настройте azure.adls2.storage_account, azure.adls2.shared_key и путь к файлу (DATA INFILE) следующим образом в операторе LOAD LABEL:

LOAD LABEL test_db.label000
(
    DATA INFILE("adfs[s]://<container>@<storage_account>.dfs.core.windows.net/<path>/<file_name>")
    INTO TABLE target_table
    FORMAT AS "parquet"
)
WITH BROKER
(
    "azure.adls2.storage_account" = "<storage_account_name>",
    "azure.adls2.shared_key" = "<shared_key>"
);

Service Principal

Перед началом работы необходимо создать service principal, создать назначение роли для назначения роли service principal, а затем добавить назначение роли к вашей учетной записи хранения. Таким образом, вы можете убедиться, что этот service principal может успешно получить доступ к данным в вашей учетной записи хранения.

External catalog

Настройте azure.adls2.oauth2_client_id, azure.adls2.oauth2_client_secret и azure.adls2.oauth2_client_endpoint следующим образом в операторе CREATE EXTERNAL CATALOG:

CREATE EXTERNAL CATALOG hive_catalog_azure
PROPERTIES
(
    "type" = "hive", 
    "hive.metastore.uris" = "thrift://xx.xx.xx.xx:9083",
    "azure.adls2.oauth2_client_id" = "<service_client_id>",
    "azure.adls2.oauth2_client_secret" = "<service_principal_client_secret>",
    "azure.adls2.oauth2_client_endpoint" = "<service_principal_client_endpoint>"
);

Внешняя таблица файлов

Настройте azure.adls2.oauth2_client_id, azure.adls2.oauth2_client_secret, azure.adls2.oauth2_client_endpoint и путь к файлу (path) следующим образом в операторе CREATE EXTERNAL TABLE:

CREATE EXTERNAL TABLE external_table_azure
(
    id varchar(65500),
    attributes map<varchar(100), varchar(2000)>
) 
ENGINE=FILE
PROPERTIES
(
    "path" = "abfs[s]://<container>@<storage_account>.dfs.core.windows.net/<path>/<file_name>",
    "format" = "ORC",
    "azure.adls2.oauth2_client_id" = "<service_client_id>",
    "azure.adls2.oauth2_client_secret" = "<service_principal_client_secret>",
    "azure.adls2.oauth2_client_endpoint" = "<service_principal_client_endpoint>"
);

Broker Load

Настройте azure.adls2.oauth2_client_id, azure.adls2.oauth2_client_secret, azure.adls2.oauth2_client_endpoint и путь к файлу (DATA INFILE) следующим образом в операторе LOAD LABEL:

LOAD LABEL test_db.label000
(
    DATA INFILE("adfs[s]://<container>@<storage_account>.dfs.core.windows.net/<path>/<file_name>")
    INTO TABLE target_table
    FORMAT AS "parquet"
)
WITH BROKER
(
    "azure.adls2.oauth2_client_id" = "<service_client_id>",
    "azure.adls2.oauth2_client_secret" = "<service_principal_client_secret>",
    "azure.adls2.oauth2_client_endpoint" = "<service_principal_client_endpoint>"
);

Blob Storage​

Shared Key​

External catalog​

Внешняя таблица файлов​

Broker Load​

SAS Token​

External catalog​

Внешняя таблица файлов​

Broker load​

Data Lake Storage Gen1​

Managed Service Identity​

External catalog​

Внешняя таблица файлов​

Broker Load​

Service Principal​

External catalog​

Внешняя таблица файлов​

Broker Load​

Data Lake Storage Gen2​

Managed Identity​

External catalog​

Внешняя таблица файлов​

Broker Load​

Shared Key​

External catalog​

Внешняя таблица файлов​

Broker Load​

Service Principal​

External catalog​

Внешняя таблица файлов​

Broker Load​

Blob Storage

Shared Key

External catalog

Внешняя таблица файлов

Broker Load

SAS Token

External catalog

Внешняя таблица файлов

Broker load

Data Lake Storage Gen1

Managed Service Identity

External catalog

Внешняя таблица файлов

Broker Load

Service Principal

External catalog

Внешняя таблица файлов

Broker Load

Data Lake Storage Gen2

Managed Identity

External catalog

Внешняя таблица файлов

Broker Load

Shared Key

External catalog

Внешняя таблица файлов

Broker Load

Service Principal

External catalog

Внешняя таблица файлов

Broker Load