VK Data Platform logo
Помощь
Обновлена 17 июля 2026 г. в 15:34

Cloud Airflow

В сервисе Cloud Airflow метрики собираются в формате Prometheus. Для каждой метрики автоматически создается панель, которую можно отобразить на дашборде.

Метрики worker-узлов

Список метрик worker-узлов Cloud Airflow перечислен в таблице 1.

Таблица 1 — Метрики worker-узлов Cloud Airflow

Имя метрики

Описание

%, CPU

Процент использования CPU относительно установленного лимита за выбранный интервал времени

%, Memory

Процент использования памяти относительно установленного лимита за выбранный интервал времени

Disk Reads

Объем данных, прочитанных с диска за выбранный интервал времени, в МБ/с

Disk Writes

Объем данных, записанных на диск за выбранный интервал времени, в МБ/с

Метрики производительности Airflow

Список метрик производительности Cloud Airflow перечислен в таблице 2.

Таблица 2 — Метрики производительности Cloud Airflow

Имя метрики

Описание

Critical section of scheduler loop

Среднее время выполнения критической секции за выбранный интервал времени, в мс. В этой секции может работать только один планировщик

Running one scheduler loop

Время выполнения одного цикла планировщика по 99-му перцентилю, в мс

Airflow Load

Значение загрузки подсистемы сериализации данных по 95-му перцентилю

Running the critical section task instance query

Среднее время выполнения запроса о состоянии экземпляров задач в критической секции планировщика по 95-му перцентилю, в мс

Capacity left on a triggerer

Текущее значение оставшейся емкости триггера для обработки отложенных задач

Open slots on executor

Текущее количество свободных слотов на исполнителе

Running tasks on executor

Текущее количество задач, выполняемых на исполнителе

Queued tasks on executor

Текущее количество задач, ожидающих выполнения на исполнителе

Open slots in the pool

Текущее количество свободных слотов в пуле

Queued slots in the pool

Текущее количество слотов в очереди в пуле с тегом pool_name

Scheduled slots in the pool

Текущее количество запланированных слотов в пуле с тегом pool_name

Running slots in the pool

Текущее количество выполняемых слотов в пуле с тегом pool_name

Deferred slots in the pool

Текущее количество отложенных слотов в пуле с тегом pool_name

Seconds since dag_file was last processed

Время с момента последней обработки DAG-файла, в секундах