Cloud Kafka
В сервисе Cloud Kafka собираются следующие виды метрик в формате Prometheus:
- Метрики брокера и координатора Kafka;
- Метрики JVM;
- Метрики Kubernetes-пода.
Для каждой метрики автоматически создается панель, которую можно отобразить на дашборде.
Список метрик брокера и координатора Kafka, перечислен в таблице 1.
Имя метрики | Описание |
|---|---|
| Среднее число запросов на запись от поставщиков (producers) в секунду за выбранный интервал |
| Среднее число запросов на чтение от потребителей (consumers) в секунду за выбранный интервал |
| Входящий трафик в МБ/с за выбранный интервал |
| Исходящий трафик в МБ/с за выбранный интервал |
| Среднее значение времени локальной обработки запросов поставщиков по 99-му перцентилю |
| Среднее значение времени локальной обработки запросов потребителей по 99-му перцентилю |
| Общее количество активных контроллеров |
| Общее количество активных брокеров |
| Общее количество недоступных партиций |
| Общее количество партиций в кластере |
| Общее количество запросов, находящихся в очереди обработки (нагрузка на вычислительные ресурсы брокеров) |
| Общее количество ответов, ожидающих отправки клиентам (нагрузка на сетевые ресурсы и клиентов) |
| Средний процент времени простоя сетевых процессоров |
| Общее количество ошибочных запросов на запись |
| Общее количество ошибочных запросов на чтение |
| Средний процент времени простоя обработчиков запросов на брокерах кластера |
| Средняя скорость увеличения процента времени простоя обработчиков запросов за выбранный интервал в процентах в секунду |
| Общее количество ребалансировок групп потребителей в секунду |
Список метрик JVM, перечислен в таблице 2.
Имя метрики | Описание |
|---|---|
| Процент времени, потраченного на сборку мусора (garbage collection) |
| Размер используемой RAM для heap в МБ |
| Максимальный процент использования памяти heap по всем брокерам |
| Размер используемой RAM вне heap в МБ |
| Максимальный процент использования памяти вне heap по всем брокерам |
Список метрик Kubernetes-пода, перечислен в таблице 3.
Имя метрики | Описание |
|---|---|
| Процент использования CPU |
| Лимит CPU, установленный для контейнера, в ядрах |
| Процент использования RAM |
| Лимит RAM для контейнера в байтах |
| Чтение с диска в МБ/с |
| Запись на диск в МБ/с |
| Используемый объем дискового пространства всеми брокерами в МБ |