VK Data Platform logo
Помощь
Обновлена 17 июля 2026 г. в 15:34

Cloud Kafka

В сервисе Cloud Kafka собираются следующие виды метрик в формате Prometheus:

  • Метрики брокера и координатора Kafka;
  • Метрики JVM;
  • Метрики Kubernetes-пода.

Для каждой метрики автоматически создается панель, которую можно отобразить на дашборде.

Метрики брокера и координатора Kafka

Список метрик брокера и координатора Kafka, перечислен в таблице 1.

Таблица 1 — Метрики брокера и координатора Kafka

Имя метрики

Описание

kafka_server_brokertopicmetrics_totalproducerequestspersec_total

Среднее число запросов на запись от поставщиков (producers) в секунду за выбранный интервал

kafka_server_brokertopicmetrics_totalfetchrequestspersec_total

Среднее число запросов на чтение от потребителей (consumers) в секунду за выбранный интервал

kafka_server_brokertopicmetrics_bytesinpersec_total

Входящий трафик в МБ/с за выбранный интервал

kafka_server_brokertopicmetrics_bytesoutpersec_total

Исходящий трафик в МБ/с за выбранный интервал

kafka_network_requestmetrics_localtimems_p99{quantile="0.99", request="Produce"}

Среднее значение времени локальной обработки запросов поставщиков по 99-му перцентилю

kafka_network_requestmetrics_localtimems_p99{quantile="0.99", request="Fetch"}

Среднее значение времени локальной обработки запросов потребителей по 99-му перцентилю

kafka_controller_kafkacontroller_activecontrollercount

Общее количество активных контроллеров

kafka_controller_kafkacontroller_activebrokercount

Общее количество активных брокеров

kafka_controller_kafkacontroller_offlinepartitionscount

Общее количество недоступных партиций

kafka_controller_kafkacontroller_globalpartitioncount

Общее количество партиций в кластере

kafka_network_requestchannel_requestqueuesize

Общее количество запросов, находящихся в очереди обработки (нагрузка на вычислительные ресурсы брокеров)

kafka_network_requestchannel_responsequeuesize

Общее количество ответов, ожидающих отправки клиентам (нагрузка на сетевые ресурсы и клиентов)

kafka_network_socketserver_networkprocessoravgidlepercent

Средний процент времени простоя сетевых процессоров

kafka_server_brokertopicmetrics_failedproducerequestspersec_total

Общее количество ошибочных запросов на запись

kafka_server_brokertopicmetrics_failedfetchrequestspersec_total

Общее количество ошибочных запросов на чтение

kafka_server_kafkarequesthandlerpool_requesthandleravgidlepercent

Средний процент времени простоя обработчиков запросов на брокерах кластера

kafka_server_kafkarequesthandlerpool_requesthandleravgidlepercent_total

Средняя скорость увеличения процента времени простоя обработчиков запросов за выбранный интервал в процентах в секунду

kafka_server_group_coordinator_metrics_consumer_group_rebalance_rate

Общее количество ребалансировок групп потребителей в секунду

Метрики JVM

Список метрик JVM, перечислен в таблице 2.

Таблица 2 — Метрики JVM

Имя метрики

Описание

jvm_gc_collection_seconds_sum{gc="G1 Young Generation"}

Процент времени, потраченного на сборку мусора (garbage collection)

jvm_memory_used_bytes{area="heap"}

Размер используемой RAM для heap в МБ

jvm_memory_max_bytes{area="heap"}

Максимальный процент использования памяти heap по всем брокерам

jvm_memory_used_bytes{area="nonheap"}

Размер используемой RAM вне heap в МБ

jvm_memory_max_bytes{area="nonheap"}

Максимальный процент использования памяти вне heap по всем брокерам

Метрики Kubernetes-пода

Список метрик Kubernetes-пода, перечислен в таблице 3.

Таблица 3 — Метрики Kubernetes-пода

Имя метрики

Описание

container_cpu_usage_seconds_total{pod=~"*", container="*"}

Процент использования CPU

kube_pod_container_resource_limits{resource="cpu", pod=~"*", container="*"}

Лимит CPU, установленный для контейнера, в ядрах

container_memory_working_set_bytes{pod=~"*", container="*"}

Процент использования RAM

kube_pod_container_resource_limits{resource="memory", pod=~"*", container="*"}

Лимит RAM для контейнера в байтах

container_fs_reads_bytes_total{pod=~"*", container="*"}

Чтение с диска в МБ/с

container_fs_writes_bytes_total{pod=~"*", container="*"}

Запись на диск в МБ/с

container_fs_usage_bytes

Используемый объем дискового пространства всеми брокерами в МБ