Репликация данных из внешних кластеров Kafka^Beta

Перейдите в раздел Data Platform → Экземпляры сервисов.

В списке экземпляров сервисов нажмите на имя нужного экземпляра.

Включите репликацию одним из способов:

• На вкладке Архитектура на схеме узлов кластера нажмите MirrorMaker.
• Перейдите на вкладку Подключения и нажмите кнопку Добавить подключение.

Задайте параметры репликации:

• Название: имя подключения.

• Пароль: пароль учетной записи для подключения к внешнему кластеру.

• Имя пользователя: логин учетной записи для подключения к внешнему кластеру.

• (Опционально) TLS-сертификат: сертификат для безопасного соединения с внешним кластером. Если подключение к внешнему кластеру выполняется по протоколу SASL_SSL, прикрепите файл с сертификатом или укажите его содержимое в формате PEM.

• CPU Kafka MirrorMaker: количество CPU для компонента Mirror Maker. Значение по умолчанию — 4.

• RAM Kafka MirrorMaker: объем RAM для компонента Mirror Maker. Значение по умолчанию — 4 ГБ.

• Адрес Kafka-кластера: bootstrap-адрес внешнего кластера Kafka, из которого Mirror Maker забирает данные. Формат host:port.

  Для отказоустойчивости укажите несколько брокеров через запятую. Пример: broker1:9092,broker2:9092.

• Сохранить запись в каталоге подключений: включите опцию, чтобы сохранить данные подключения. Это позволит добавлять подключения к другим экземплярам сервиса Cloud Kafka, не вводя данные повторно.

(Опционально) Нажмите Показать все параметры и задайте дополнительные параметры:

• Проверка имени хоста сертификата: опция проверки соответствия имени хоста источника с данными TLS-сертификата. Отключена по умолчанию.

• Протокол безопасности: протокол подключения к внешнему кластеру. Возможные значения:

  • SASL_PLAINTEXT — без шифрования соединения. Данные передаются в открытом виде. Значение по умолчанию.
  • SASL_SSL — с шифрованием соединения с помощью протокола SSL или TLS.

• Механизм SASL: метод SASL-аутентификации — определяет, как проверяется пароль при подключении. Возможные значения:

  • PLAIN — в открытом виде.
  • SCRAM-SHA-256 или SCRAM-SHA-512 — с хешированием. Значение по умолчанию — SCRAM-SHA-512.

• Максимум параллельных задач: максимальное число задач репликации, запускаемых параллельно. Рекомендуемое значение — вдвое больше числа выделенных CPU для Mirror Maker. Значение по умолчанию — 4.

• Сжатие при репликации: кодек сжатия данных при записи в целевой кластер. Возможные значения:

  • lz4 — высокое соотношение скорости и степени сжатия. Подходит для большинства сценариев.
  • snappy — максимальная скорость работы, низкая степень сжатия. Подходит, когда скорость важнее, чем экономия трафика.
  • gzip — высокая степень сжатия, низкая скорость работы. Подходит для экономии трафика, когда скорость не критична.
  • zstd — высокая степень сжатия при более высокой скорости, чем у gzip. Подходит, когда важно и сжатие, и скорость.
  • none — без сжатия. Значение по умолчанию.

• Список топиков для репликации: топики внешнего кластера для репликации. Перечисляются через символ |. Пример: topic1|topic2. Если ничего не указано, реплицируются все пользовательские топики.

• Список исключаемых топиков из репликации: топики, которые нужно исключить из репликации. Перечисляются через символ |. Пример: topic1|topic2. Если ничего не указано, дополнительные исключения не добавляются. Служебные топики Kafka и Mirror Maker исключаются автоматически.

• Список групп консьюмеров для репликации: группы потребителей, смещения которых переносятся в целевой кластер. Перечисляются через символ |. Пример: group1|group2. Если ничего не указано, переносятся все группы, кроме тех, которые Mirror Maker исключает по умолчанию.

• Политика именования топиков: правило формирования имен топиков на целевом кластере. Возможные значения:

  • IdentityReplicationPolicy — сохраняет исходное имя, например, orders → orders. Значение по умолчанию.
  • DefaultReplicationPolicy — добавляет префикс с именем внешнего кластера, например, orders → cluster-source.orders.

• Сброс смещения консьюмера: определяет, с какого места читать топики внешнего кластера, если у потребителя нет сохраненного смещения. Возможные значения:

  • earliest — с начала топика, реплицируются все имеющиеся данные. Значение по умолчанию.
  • latest — только новые сообщения с момента запуска.

• Синхронизация конфигураций топиков: перенос конфигураций топиков (retention, cleanup policy и т.д.) из внешнего кластера в целевой. Включена по умолчанию.

Нажмите кнопку Создать.