Перейти к основному содержимому

CREATE RESOURCE

Создает ресурсы. Могут быть созданы следующие типы ресурсов: Apache Spark™, Apache Hive™, Apache Iceberg, Apache Hudi и JDBC. Ресурсы Spark используются в Spark Load для управления информацией о загрузке, такой как конфигурации YARN, путь хранения промежуточных данных и конфигурации Broker. Ресурсы Hive, Iceberg, Hudi и JDBC используются для управления информацией о доступе к источникам данных, участвующим в запросах к внешним таблицам.

подсказка
  • Только пользователи с привилегией CREATE RESOURCE на уровне SYSTEM могут выполнять эту операцию.
  • Создавать ресурсы JDBC можно только в Selena версии 2.3 и выше.

Синтаксис​

CREATE [EXTERNAL] RESOURCE "resource_name"
PROPERTIES ("key"="value", ...)

Параметры​

  • resource_name: имя создаваемого ресурса. Для соглашений об именовании см. Системные ограничения.

  • PROPERTIES: указывает свойства типа ресурса. PROPERTIES различаются в зависимости от типа ресурса. Подробности см. в разделе Примеры.

Примеры​

  1. Создание ресурса Spark с именем spark0 в режиме yarn Cluster.

    CREATE EXTERNAL RESOURCE "spark0"
    PROPERTIES
    (
        "type" = "spark",
        "spark.master" = "yarn",
        "spark.submit.deployMode" = "cluster",
        "spark.jars" = "xxx.jar,yyy.jar",
        "spark.files" = "/tmp/aaa,/tmp/bbb",
        "spark.executor.memory" = "1g",
        "spark.yarn.queue" = "queue0",
        "spark.hadoop.yarn.resourcemanager.address" = "127.0.0.1:9999",
        "spark.hadoop.fs.defaultFS" = "hdfs://127.0.0.1:10000",
        "working_dir" = "hdfs://127.0.0.1:10000/tmp/starrocks",
        "broker" = "broker0",
        "broker.username" = "user0",
        "broker.password" = "password0"
    );

    Параметры, связанные со Spark, следующие:

    1. spark.master: обязательный. В настоящее время поддерживаются yarn и spark://host:port.
    2. spark.submit.deployMode: режим развертывания программы Spark является обязательным. Поддерживаются cluster и client.
    3. spark.hadoop.yarn.resourcemanager.address: обязательный, когда master равен yarn.
    4. spark.hadoop.fs.defaultFS: обязательный, когда master равен yarn.
    5. Остальные параметры необязательны. Пожалуйста, обратитесь к http://spark.apache.org/docs/latest/configuration.html

    Если Spark используется для ETL, необходимо указать working_DIR и broker. Инструкции следующие:

    working_dir: Каталог, используемый ETL. Обязателен, когда spark используется как ресурс ETL. Например: hdfs://host:port/tmp/starrocks.
    broker: Имя broker. Обязательно, когда spark используется как ресурс ETL и должно быть настроено заранее с помощью команды `ALTER SYSTEM ADD BROKER`.
    broker.property_key: Это информация о свойствах, которую необходимо указать, когда broker читает промежуточные файлы, созданные ETL.

  2. Создание ресурса Hive с именем hive0.

    CREATE EXTERNAL RESOURCE "hive0"
    PROPERTIES
    (
        "type" = "hive",
        "hive.metastore.uris" = "thrift://10.10.44.98:9083"
    );