Cloud Airflow
В сервисе Cloud Airflow метрики собираются в формате Prometheus. Для каждой метрики автоматически создается панель, которую можно отобразить на дашборде.
Список метрик worker-узлов Cloud Airflow перечислен в таблице 1.
Имя метрики | Описание |
|---|---|
| Процент использования CPU относительно установленного лимита за выбранный интервал времени |
| Процент использования памяти относительно установленного лимита за выбранный интервал времени |
| Объем данных, прочитанных с диска за выбранный интервал времени, в МБ/с |
| Объем данных, записанных на диск за выбранный интервал времени, в МБ/с |
Список метрик производительности Cloud Airflow перечислен в таблице 2.
Имя метрики | Описание |
|---|---|
| Среднее время выполнения критической секции за выбранный интервал времени, в мс. В этой секции может работать только один планировщик |
| Время выполнения одного цикла планировщика по 99-му перцентилю, в мс |
| Значение загрузки подсистемы сериализации данных по 95-му перцентилю |
| Среднее время выполнения запроса о состоянии экземпляров задач в критической секции планировщика по 95-му перцентилю, в мс |
| Текущее значение оставшейся емкости триггера для обработки отложенных задач |
| Текущее количество свободных слотов на исполнителе |
| Текущее количество задач, выполняемых на исполнителе |
| Текущее количество задач, ожидающих выполнения на исполнителе |
| Текущее количество свободных слотов в пуле |
| Текущее количество слотов в очереди в пуле с тегом |
| Текущее количество запланированных слотов в пуле с тегом |
| Текущее количество выполняемых слотов в пуле с тегом |
| Текущее количество отложенных слотов в пуле с тегом |
| Время с момента последней обработки DAG-файла, в секундах |