Создание экземпляра сервиса^Beta

Перейдите в раздел Data Platform → Экземпляры сервисов.

Нажмите кнопку Создать экземпляр.

На шаге Конфигурация:

1. Выберите тип сервиса Cloud Airflow.
2. Выберите версию сервиса.
3. Нажмите кнопку Следующий шаг.

На шаге Параметры:

1. Задайте название и описание для экземпляра.

2. (Пропустить для Standalone) Включите параметр Назначить внешний IP, если требуется доступ к экземпляру из внешней сети.

3. (Только для Standalone, опционально) Задайте IP-адрес для экземпляра сервиса из подсети. Для этого отключите опцию Автоматическое назначение IP. По умолчанию IP-адрес назначается экземпляру автоматически.

4. (Только для Standalone в составе VK Private Cloud, опционально) Добавьте группу безопасности. Если нужной группы безопасности нет в списке, создайте ее по инструкции из Руководства администратора VK Private Cloud → Сети → Настройка firewall.

5. (Пропустить для Standalone) Выберите кластер Kubernetes из выпадающего списка или создайте новый. В этот кластер будет добавлен worker-узел для размещения экземпляра Cloud Airflow.

6. Выберите опцию Базовая или Продвинутая и настройте параметры узлов кластера:

   • Для опции Базовая выберите один из готовых шаблонов кластера.

   • Для опции Продвинутая задайте нужное количество CPU, объем RAM и количество узлов для компонентов Cloud Airflow:

     • Api server: веб‑сервер Cloud Airflow, который предоставляет пользовательский интерфейс и REST API для мониторинга и управления рабочими процессами.

     • DAG Processor: компонент, который извлекает из хранилища файлы DAG, анализирует их и подготавливает к выполнению планировщиком.

     • Triggerer: компонент, который ожидает и обрабатывает отложенные события, чтобы возобновлять задачи в состоянии ожидания.

     • Scheduler: компонент, который планирует и запускает задачи DAG с учетом расписания и зависимостей между ними.

     • Celery Worker: рабочие ноды Cloud Airflow. Дополнительно задайте:

       • Тип и размер диска.
       • Срок хранения логов Cloud Airflow в днях. Установите количество дней с учетом размера диска Celery Worker, чтобы избежать его переполнения. Изменить размер диска после создания невозможно.

7. Нажмите кнопку Следующий шаг.

На шаге Обслуживание:

1. Выберите дни недели и время начала проведения технических работ. В это время на сервере могут выполняться технические работы, в том числе создание резервных копий. Сервис может быть временно недоступен.

2. Нажмите кнопку Следующий шаг.

На шаге Подключения добавьте два подключения — для хранения DAG-файлов и логов DAG:

1. Нажмите Добавить подключение.

2. Выберите тип подключения:

   • Для DAG-файлов:

     • Подключение к внешнему S3 хранилищу DAG-файлов — подключение к внешнему хранилищу S3.
     • Подключение к хранилищу DAG-файлов в VK Cloud S3 — подключение к VK Object Storage в том же проекте.

   • Для логов DAG:

     • Подключение к внешнему S3 хранилищу логов — подключение к внешнему хранилищу S3.
     • Подключение к хранилищу логов в VK Cloud S3 — подключение к VK Object Storage в том же проекте.

3. Для каждого подключения выберите Новое подключение в блоке Подключение и задайте для него параметры:

   Подключение к хранилищу VK Cloud S3

   Подключение к внешнему S3 хранилищу

   • Название подключения: название подключения.
   • Bucket: имя бакета, в котором будут храниться DAG-файлы или логи DAG.
   • Путь к файлам в bucket: путь до бакета.

   • Название подключения: название подключения.
   • Регион: регион, в котором расположено хранилище S3.
   • Access Key: публичный ключ для доступа к хранилищу.
   • Secret Key: приватный ключ для доступа к хранилищу.
   • S3 URL: адрес хранилища S3. Например: https://hb.ru-msk.vkcloud-storage.ru.
   • Bucket: имя бакета, в котором будут храниться DAG-файлы или логи DAG.
   • Путь к файлам в bucket: путь до бакета.

4. Нажмите кнопку Следующий шаг.

На шаге Учетные данные:

1. Задайте логин учетной записи для доступа к Cloud Airflow. Требования к логину:

   • Допустимы только цифры, латинские буквы и символ _.
   • Первый символ — латинская буква любого регистра или _.
   • Недопустимые имена: os_admin, root, dataplatform_moth.

2. Выберите роль для учетной записи:

   • Администратор — роль с максимально широким набором прав. Администратор может создавать, изменять и удалять любые объекты (DAG, подключения, пулы, переменные), управлять пользователями и их ролями, просматривать и изменять конфигурацию.
   • Пользователь — роль с доступом к управлению объектами Cloud Airflow. Пользователь может создавать, изменять и удалять DAG, запускать и останавливать задачи, просматривать логи выполнения, управлять подключениями, пулами и переменными.
   • Оператор — роль, расширяющая возможности роли Пользователь. Оператор дополнительно может очищать историю задач, управлять блокировками DAG, просматривать и изменять конфигурацию раннеров, управлять слотами выполнения задач.
   • Наблюдатель — роль с ограниченным доступом на чтение. Наблюдатель может просматривать DAG, статус их выполнения, логи задач и базовую информацию об объектах Cloud Airflow, но не может создавать, изменять или удалять объекты, запускать или останавливать задачи.

3. Придумайте или сгенерируйте пароль. Требования к паролю:

   • Не менее 16 символов.
   • Минимум одна заглавная и одна строчная буквы латинского алфавита.
   • Минимум одна цифра.
   • Минимум один из символов: !, ", #, $, %, &, (, ), *, +, ,, -, ., :, ;, <, =, >, ?, @, [, ], ^, _, {, }, ~.

4. Чтобы добавить еще одну учетную запись, нажмите кнопку Добавить учетную запись.

5. Нажмите кнопку Создать.