CREATE RESOURCE

Создаёт ресурсы. Могут быть созданы следующие типы ресурсов: Apache Spark™, Apache Hive™, Apache Iceberg, Apache Hudi и JDBC. Spark ресурсы используются в Spark Load для управления информацией о загрузке, такой как конфигурации YARN, путь хранения промежуточных данных и конфигурации Broker. Ресурсы Hive, Iceberg, Hudi и JDBC используются для управления информацией о доступе к источникам данных при запросах к внешним таблицам.

подсказка

• Только пользователи с привилегией CREATE RESOURCE на уровне SYSTEM могут выполнять эту операцию.
• Вы можете создавать JDBC ресурсы только в Selena v1.5.2 и выше.

Синтаксис

CREATE [EXTERNAL] RESOURCE "resource_name"
PROPERTIES ("key"="value", ...)

Параметры

• resource_name: имя создаваемого ресурса. Для соглашений об именовании см. Системные ограничения.

• PROPERTIES: определяет свойства типа ресурса. PROPERTIES различаются в зависимости от типа ресурса. Подробности см. в разделе Примеры.

Примеры

1. Создать Spark ресурс с именем spark0 в режиме yarn Cluster.

   CREATE EXTERNAL RESOURCE "spark0"
   PROPERTIES
   (
       "type" = "spark",
       "spark.master" = "yarn",
       "spark.submit.deployMode" = "cluster",
       "spark.jars" = "xxx.jar,yyy.jar",
       "spark.files" = "/tmp/aaa,/tmp/bbb",
       "spark.executor.memory" = "1g",
       "spark.yarn.queue" = "queue0",
       "spark.hadoop.yarn.resourcemanager.address" = "127.0.0.1:9999",
       "spark.hadoop.fs.defaultFS" = "hdfs://127.0.0.1:10000",
       "working_dir" = "hdfs://127.0.0.1:10000/tmp/selena",
       "broker" = "broker0",
       "broker.username" = "user0",
       "broker.password" = "password0"
   );

   Параметры, связанные со Spark, следующие:

   1. spark.master: обязательный. В настоящее время поддерживаются yarn и spark://host:port.
   2. spark.submit.deployMode: режим развёртывания программы Spark, обязательный. Поддерживаются cluster и client.
   3. spark.hadoop.yarn.resourcemanager.address: обязательный, когда master это yarn.
   4. spark.hadoop.fs.defaultFS: обязательный, когда master это yarn.
   5. Другие параметры необязательны. Пожалуйста, обратитесь к http://spark.apache.org/docs/latest/configuration.html

   Если Spark используется для ETL, необходимо указать working_DIR и broker. Инструкции следующие:

   working_dir: Директория, используемая ETL. Обязательна, когда spark используется как ETL ресурс. Например: hdfs://host:port/tmp/selena.
   broker: Имя broker. Обязательно, когда spark используется как ETL ресурс, и должен быть предварительно настроен с помощью команды `ALTER SYSTEM ADD BROKER`.
   broker.property_key: Это информация о свойствах, которую необходимо указать, когда broker читает промежуточные файлы, созданные ETL.

2. Создать Hive ресурс с именем hive0.

   CREATE EXTERNAL RESOURCE "hive0"
   PROPERTIES
   (
       "type" = "hive",
       "hive.metastore.uris" = "thrift://10.10.44.98:9083"
   );