Описание конфигураций

id

Идентификатор демона Go-toucher

string

name

Имя приложения

string

version

Версия приложения

string

shutdown_timeout

Тайм-аут для завершения всех текущих процессов приложения, сек. Значение по умолчанию — 10

string duration

ip_address

IP-адрес сервера

string

port

Порт сервера

int

read_timeout

Максимальный промежуток времени чтения запроса, включающий чтение тела. Если значение 0 или отрицательное — тайм-аут отключен

string duration

read_header_timeout

Время, отведенное для чтения заголовков запроса. Если значение 0 или отрицательное, используется read_timeout

string duration

write_timeout

Максимальная длительность до тайм-аута при записи ответа

string duration

idle_timeout

Максимальное значение времени ожидания следующего запроса при включенном keep-alive. Если значение 0 или отрицательное, используется read_timeout

string duration

max_header_bytes

Максимальное количество байт, которое сервер будет считывать при анализе ключей и значений заголовка запроса, включая строку запроса (не включает тело запроса)

int

etcd — секция с описанием конфигурации Etcd. Секция заполняется, если в конфигурации есть кластеры и узлы

endpoints

Эндпоинты Etcd. Формат записи — host:port

string

prefix

Префикс необходимых ключей

string

timeout_per_req

Время ожидания заголовка ответа. Значение по умолчанию — 0

string duration

username

Имя для доступа к Etcd. Значение по умолчанию — не задано

string

password

Пароль для доступа к Etcd. Значение по умолчанию — не задано

string

max_retries

Количество попыток в одной итерации (сколько раз будет повышаться base_delay) для повторного запуска watcher для Etcd. Значение по умолчанию — 10

int

base_delay

Первое значение (для экспоненциальной длительности) времени между новой попыткой запуска watcher Etcd при неудаче, мс. Значение по умолчанию — 500

string duration

time_lag_for_applying_changes

Промежуток времени для применения новых данных из Etcd, сек. Значение по умолчанию — 10

string duration

instances — секция с описанием узлов Tarantool

instance_name

Имя тарантула в кластере

string

cluster

Имя кластера этого тарантула

string

box

Конфигурация подключения к тарантулу

listen

IP-адрес подключения к Tarantool

string

pool — секция с описанием конфигурации подключения к кластерам

check_timeout

Тайм-аут для переподключения закрытого соединения, сек. Значение по умолчанию — 10

string duration

retrier

Конфигурация retrier на количество попыток для подключения к кластеру

num

Количество попыток переподключения при неудачном подключении к кластеру. Значение по умолчанию — 60

int

(если задан retrier)

duration

Время ожидания между попытками для успешного выполнения задачи тачинга, в секундах. Значение по умолчанию — 1

string

(если задан retrier)

pacer

Запрос pacer чтобы искусственно ограничивать частоту запросов

string

rps

Количество запросов в секунду

int

(если задан retrier)

touching.default_get_timeout

Тайм-аут по умолчанию для функции GET, используемой Go-toucher

1

touching.heartbeat_sleep_time

Частота вызова процесса проверки активности тачинга

1

touching.reset_time

Время ожидания сигналов от Go-toucher: если они не приходят, тачинг переходит в исходное состояние

60

touching.reset_restart_time

Время ожидания сигналов от Go-toucher: если они не приходят, тачинг сбрасывается и перезапускается

0.5

touching.max_get_timeout

Максимальный тайм-аут для функции GET, используемый Go-toucher

60

period

Период между обработкой задач на тачинг, сек. Значение по умолчанию — 1

string duration

complete retrier

Конфигурация retrier на количество попыток для complete задачи на Matter

num

Количество попыток на успех тачинг задачи, сек. Значение по умолчанию — 100

int

(если установлен complete)

duration

Ожидание между попытками на успех тачинг задачи, сек. Значение по умолчанию — 0,5

string

(если установлен complete)

beater

Сервис для удерживания тачинга за Go-toucher

period

Период между heartbeat-запросами

string duration

workdir

Директория, из которой происходит выгрузка parquet-файлов

string

workers_count

Количество воркеров для разбора parquet-файлов и отправки хешей на Nylon

int

retry_limit

Количество попыток загрузки пачки хешей в Nylon, после достижения которых она считается ошибкой. Значение по умолчанию — 10

int

parquet_reader_parallel

При создании ридера для parquet задается parallel number, желательно выставлять в количество воркеров. Значение по умолчанию — workers_count

int

worker_timeout

Лимит времени для обработки пачки хешей воркерами (если не управился, обработка завершается и передается другому воркеру). Значение по умолчанию — workers_count

string duration

in_progress_wait

Промежуток времени, по истечении которого задача считается зависшей (задача снова перемещается в статус TO DO). Значение по умолчанию — 10

string duration

missed_count_retrying

Количество итераций на обработку всех parquet-файлов и буфера хешей с ошибками. Значение по умолчанию — 3

int

queue

Очередь для обработки пачек хешей из parquet-файлов

transaction_group_size

Размер транзакции при загрузке пачек хешей в очередь на обработку воркерами. Значение по умолчанию — 100

int

level

Текущий уровень логирования. Возможные значения: DEBUG, INFO, WARN, ERROR

string

disable_time

Отключает логирование времени. Значение по умолчанию — false

boolean

enable_source

Включает логирование функции источника вызова. Значение по умолчанию — false

boolean

targets

Секция с описанием целей для записи логов. Будет загружена первая включенная цель enabled. Если все цели выключены, будет использован /dev/stdout

type

Тип лога. Возможные значения: stream, syslog

string

enabled

Включение цели

boolean

path

Путь до файла лога

string

syslog

Базовые настройки syslog

network

Протокол передачи данных: TCP или UDP

string

address

IP-адрес до сервера syslog

string

priority

Уровень приоритета: 0-7

int

tag

Метка сообщений syslog. Если значение не задано, будет использовано имя бинарного файла

string

format

Формат вывода лога. Одно из значений: TXT или JSON

string

touching

touching.schedule.cron

Расписание запуска в формате cron

0 0 0 * * *

touching.schedule.enabled

Включен ли запуск по расписанию

false

touching.schedule.run_interval

Частота проверки расписания

60

touching.schedule.restart_time

Время до перезапуска работы по расписанию в случае падения

60

touching.workers.enabled

Включен ли процесс тачинга

false

touching.workers.run_interval

Частота проверки и обработки текущего состояния тачинга

60

touching.workers.restart_time

Время до перезапуска работы проверки и обработки текущего состояния тачинга в случае падения

60

touching.complete_approve_required

Нужно ли вручную подтверждать успешное завершение тачинга

false

touching.cancel_approve_required

Если значение true, то из состояния тачинга FAILED можно выйти только командой cancel или restart. Если false — автоматически переходит в CANCELLING_MATTER

false

nylon

nylon.max_connections

Максимальное количество записей в кеше. Не рекомендуется устанавливать значение меньше, чем в параметре nylon.max_total_connections. Если значение параметра nylon.max_connections будет меньше, чем в nylon.max_total_connections, сокеты для запросов, отправляемых на один и тот же хост, могут не переиспользоваться. Когда лимит nylon.max_connections достигнут, создается новый сокет, который отправляет запрос и ожидает освобождения старого соединения и закрывает его, чтобы не превышать лимит

-1

nylon.max_total_connections

Указывает максимальное количество активных подключений

nylon.backoff.min_delay

Минимальная задержка до повторного запроса в случае ошибки HTTP-запроса к Nylon

0.1

nylon.backoff.max_delay

Максимальная задержка до повторного запроса в случае ошибки HTTP-запроса к Nylon

15

nylon.backoff.factor

При ошибке HTTP-запроса к Nylon устанавливает, во сколько раз изменится задержка до повторного запроса

2

Основные параметры — префикс: app.multisite.*

enabled

Включение или выключение multisite. Доступные значения:

• true;
• false

id

Идентификатор текущей инсталляции в кластере multisite

s3_version

Версия инсталляции; используется для проверки совместимости пиров

hync_timeout

Тайм-аут в секундах обращения к Hync при синхронизации метаданных и данных между установками

1

ttr

TTR задачи в очереди метаданных, в секундах

10

Фоновая синхронизация пиров — префикс: app.multisite.peers.*

interval

Интервал в секундах между циклами фоновой синхронизации пиров

60

restart_time

Время в секундах перед перезапуском фонового воркера синхронизации пиров

5

strict_version_check

Включение или выключение строгой проверки совпадения версий между пирами

false

Очередь синхронизации метаданных (multisite_xqmeta) [Control Plane] — префикс: app.multisite.control_plane.*

enabled

Включение или выключение обработки очереди метаданных

true

ttr

TTR задачи в очереди метаданных, в секундах

10

yield_sleep_time

Время ожидания в секундах при yield в цикле обработки очереди метаданных

0.01

fail_sleep_time

Время ожидания в секундах при ошибке обработки задачи в очереди метаданных

0.1

Очередь ресинхронизации метаданных (multisite_xqmeta_resync) — префикс: app.multisite.control_plane_resync.*

enabled

Включение или выключение обработки очереди

true

ttr

Time-to-run в секундах задачи в очереди. Нужен для xqueue TTR

10

yield_sleep_time

Время ожидания в секундах при yield в цикле обработки очереди

0.01

fail_sleep_time

Время ожидания в секундах при ошибке обработки задачи в очереди

0.1

policebank_timeout

Тайм-аут в секундах вызова policebank для создания задачи на повторную синхронизацию. Нужен для xqueue TTR. Должен быть больше или равен app.policebank.client.call_timeout

4

policebank_retries

Количество повторных попыток вызова policebank для создания задачи на повторную синхронизацию

3

Очередь задач ресинхронизации метаданных (multisite_xqmeta_resync_tasks) [Control Plane] — префикс: app.multisite.control_plane_resync_tasks.*

enabled

Включение или выключение обработки очереди

true

ttr

TTR задачи в очереди, в секундах. Нужен для xqueue TTR

10

yield_sleep_time

Время ожидания в секундах при yield в цикле обработки очереди

0.01

fail_sleep_time

Время ожидания в секундах при ошибке обработки задачи в очереди

0.1

haron.remove_orphan

Период, через который удаляются orphan-файлы

720h

haron.remove_old

Период, через который удаляются устаревшие файлы

720h

haron.redundancy.enabled

Использовать новые версии API, поддерживающие работу с юнитами

false

etcd — секция с описанием конфигурации Etcd. Секция описывается, если в конфигурации есть кластеры и узлы

endpoints

Эндпоинты Etcd. Формат записи — host:port

string

prefix

Префикс необходимых ключей

string

timeout_per_req

Время ожидания заголовка ответа. Значение по умолчанию — 0

string duration

username

Имя для доступа к Etcd. Значение по умолчанию — не задано

string

password

Пароль для доступа к Etcd. Значение по умолчанию — не задано

string

max_retries

Количество попыток в одной итерации (сколько раз будет повышаться base_delay) для повторного запуска watcher для Etcd. Значение по умолчанию — 10

int

base_delay

Первое значение (для экспоненциальной длительности) времени между новой попыткой для запуска watcher Etcd при неудаче. Значение по умолчанию — 500 (миллисекунд)

string duration

time_lag_for_applying_changes

Промежуток времени для применения новых данных из Etcd. Значение по умолчанию — 10 (секунд)

string duration

instances — секция с описанием узлов Tarantool

instance_name

Имя Tarantool в кластере

string

cluster

Имя кластера этого Tarantool

string

box

Конфигурация подключения к Tarantool

listen

IP-адрес Tarantool

string

cluster_streamer — секция с описанием конфигурации коннектора анонимной реплики для скачивания снимков

workdir

Директория для хранения снимков в виде parquet-файлов

string

row_group_size

Размер группы хешей в parquet-файлах

int

retry

Конфигурация, настраивающая повторные попытки соединения анонимной реплики с кластером Matter при обрыве

string

num

Максимальное количество попыток скачивания снимков. Значение по умолчанию — 3

string

(если не установлен complete)

duration

Период попыток скачивания снимков, в секундах. Значение по умолчанию — 1

string

(если не установлен complete)

spaces

Список пространств для выгрузки в parquet-файлы

string

space_name

Уникальный space для выгрузки в parquet-файл

string

pool — секция с описанием конфигурации подключения к кластерам

check_timeout

Тайм-аут для переподключения закрытого соединения, сек. Значение по умолчанию — 10

string duration

retrier

Конфигурация retrier на количество попыток для подключения к кластеру

num

Количество попыток переподключения при неудачном подключении к кластеру. Значение по умолчанию — 60

int

(если задан retrier)

duration

Время ожидания между попытками на успех задачи тачинга, сек. Значение по умолчанию — 1

string

(если задан retrier)

pacer

Механизм для искусственного ограничения частоты запросов (request pacer)

string

rps

Количество запросов в секунду

int

(если задан retrier)

disabled

Если true, модуль Shinobi отключен

false

default_clusters

Список кластеров, которые будут использоваться для работы с Matter. Ключ — идентификатор кластера, значение — его имя. Если значение не указано, будут использоваться все кластеры, найденные в Etcd

connect_timeout

Максимальное время ожидания подключения к серверу Shinobi (в секундах)

1

timeout

Общее время ожидания ответа от сервера (в секундах)

1

ping_interval

Интервал между пингами для проверки активности соединения (в секундах)

1

ping_timeout

Таймаут ожидания ответа на пинг (в секундах)

0.5

reconnect_interval

Интервал между попытками переподключения после потери соединения (в секундах)

5

max_failcount

Максимальное количество неудачных попыток подключения до того, как будет отключен модуль

10

disabled

Если true, очередь shinobi_queue будет отключена. Если false, очередь включена и будет обрабатывать задачи

false

debug

Если true, в логах будут выводиться дополнительные отладочные сообщения, связанные с обработкой задач в очереди. Информация поможет в диагностике проблем

false

workers

Количество параллельных воркеров (процессов или потоков), которые будут обрабатывать задачи из очереди. Чем больше воркеров, тем выше производительность, но и потребление ресурсов