Управление жизненным циклом (Lifecycle) объектов
Конфигурация жизненного цикла (Lifecycle) объектов управляется через компонент Matter и находится на сервере Etcd с префиксом matter/common/app/lifecycle.
Параметры конфигурации, влияющие на процесс обработки правил жизненного цикла, приведены в таблице 1.
Параметр | Значение по умолчанию | Описание |
|---|---|---|
Общие настройки | ||
|
| Включение или отключение управления жизненным циклом объектов. |
|
| Включение или отключение расширенного логирования жизненного цикла. |
|
| Включение или отключение отложенного удаления записи об объекте через корзину (recycle). |
|
| Количество объектов, удаляемых за одну транзакцию |
Настройки файбера удаления | ||
|
| Включение или отключение файбера удаления (экспирации). |
|
| Промежуток времени между удалениями батчей |
Настройки обработчиков PutBucketLifecycleConfiguration / DeleteBucketLifecycle | ||
|
| Количество обработчиков (worker) обновления правил жизненного цикла |
|
| Количество записей, через которое производится |
|
| Длительность ожидания после проверки |
Чтобы получить текущие параметры жизненного цикла:
$ switchover -p hotbox e getr "matter/common/app/lifecycle"
Чтобы установить значение параметра жизненного цикла, выполните последовательно команды:
$ switchover -p hotbox e set "/matter/common/app/lifecycle/<ИМЯ_ПАРАМЕТРА>" <ЗНАЧЕНИЕ>$ switchover -p hotbox pr --cluster matter
Чтобы включить отложенное удаление через корзину, выполните команды включения корзины, отладочных логов и перезапустите кластер Matter:
$ switchover -p hotbox e set "/matter/common/app/recycle/enabled" true$ switchover -p hotbox e set "/matter/common/app/recycle/debug" true$ switchover -p hotbox pr --cluster matter
Обработка жизненного цикла влияет на производительность системы. Для оптимизации нагрузки на систему при первом включении жизненного цикла рекомендуется временно использовать минимальные значения параметров:
-
workers:1.Установка обработки правил в однопоточный режим. Таким образом правила применяются последовательно. Единовременно будет обрабатываться только один бакет. Снизится нагрузка при частом изменении правил (при большом количестве обработчиков применение нескольких правил за короткий промежуток может вызвать одновременное перечитывание жизненного цикла для всех объектов в бакете, для каждого правила).
-
items_per_loop:10. -
recycle:false.Рекомендуется временно отключить корзину из-за большой очереди на обработку правил жизненного цикла.
Если параметр
recycleвключен, объекты перед удалением перемещаются в корзину. При этом происходит полный цикл обработки объекта: чтение исходного объекта, запись данных объекта в корзине и удаление исходной записи. При работе с большим количеством объектов это значительно увеличивает количество обращений к БД. Также увеличивается нагрузка на CPU, сеть и дисковую подсистему БД.
Сценарий жизненного цикла:
-
Установка TTL (Time To Live, время жизни объекта) при помощи жизненного цикла: параметрам
app.lifecycle.disabledиapp.lifecycle.expiration.disabledустановите значениеfalse. -
При добавлении нового объекта в бакет, содержащий правила жизненного цикла, или при изменении правил жизненного цикла бакета:
- Для правила проверяется его статус (включено или отключено) и соответствие объекта (объектов) фильтрам, указанным в правиле (проверяется совпадение префикса, тега, либо комбинации префикса и тегов).
- При выполнении условий у объекта (объектов) выставляется временная метка (
expiration time,etime), когда объект необходимо удалить. Временная метка вычисляется как сумма времени создания объекта и TTL.
-
Проверка по всем объектам в хранилище, у которых проставлен TTL, повторяется в бесконечном цикле. На каждом проходе:
-
Выявляются объекты с временной меткой больше
0. -
Объекты с временной меткой, меньшей, чем текущее время и дата:
-
Если корзина включена, перемещаются в корзину, после чего удаляются из БД.
-
Если корзина отключена, удаляются из БД.
-
-
Процедура удаления объектов с TTL происходит непрерывно:
-
Обработчик (worker) запускает вычитывание объектов (с временной меткой меньшей, чем текущее время и дата).
-
Создается список на удаление объектов (количество объектов задается параметром
items_per_loop). -
Если список наполнился или все объекты в бакете были вычитаны, объекты удаляются или перемещаются в корзину.
-
Наполняется новый список на удаление объектов.
-
Когда все объекты в бакете будут вычитаны, обработчик ожидает выполнения одного из условий:
- (приоритетное) установленное значение временной метки, если разница между значением временной метки и текущим временем больше
0; - установленное значение
app.lifecycle.interval.
- (приоритетное) установленное значение временной метки, если разница между значением временной метки и текущим временем больше
Обработка TTL влияет на загрузку объема памяти:
- При удалении объектов производится запись в WAL-лог Tarantool в директории
var/lib/tarantool/xlogs/иvar/lib/tarantool/snaps/. Если количество удаляемых объектов с TTL превышает скорость репликации Tarantool, это приведет к накапливанию записей. - При отложенном удалении через корзину вместо одной записи об удалении создаются три: удаление из спейса
objects, добавление в спейсrecycleи удаление из спейсаrecycle(по TTL корзины). Соответственно, возникает проблема со скоростью репликации.
Логи корзины и жизненного цикла находятся в директории /var/log/matter/.
Внешний индекс (lifecycle-events-db) для хранения рассчитанного времени экспирации multipart upload. Используется компонентом lc-expiration-manager для выборки записей, готовых к удалению.
Компонент lc-applier применяет правила прерывания AbortIncompleteMultipartUpload к незавершенным составным загрузкам.
Компонент lc-applier получает задачи из очереди Hitbox при изменении правил. Затем он обходит составные загрузки бакета в статусе Initiated, пересчитывает время выполнения правил и синхронизирует состояние с Matter и lc-index через Fringe.
Конфигурация lc-applier находится в файле config.yaml. Параметры конфигурации приведены в таблице 2.
Параметр | Значение по умолчанию | Описание |
|---|---|---|
Логирование | ||
| — | Уровень логирования |
|
| Включение или отключение временных меток в логах. Возможные значения:
|
|
| Включение или отключение сбора информации об источнике. Возможные значения:
|
|
| Формат логов |
| — | Настройки вывода логов |
Метрики | ||
|
| Тайм-аут подключения к Graphite |
|
| Интервал переподключения к Graphite |
|
| Размер буфера записи. |
| — | Протокол сети |
| — | Адрес Graphite для отправки метрик |
|
| Префикс метрик |
|
| Включение или отключение метрик времени выполняемого процесса. Возможные значения:
|
|
| Включение или отключение сбора метрик использования памяти. Возможные значения:
|
|
| Интервал сбора метрик времени выполняемого процесса |
Подключение к Hitbox | ||
| — | Логин учетной записи |
| — | Пароль учетной записи |
|
| Тайм-аут подключения к |
|
| Интервал переподключения к |
|
| Максимальное количество попыток переподключения к |
|
| Интервал проверки соединения с |
| — | Адреса всех master-узлов и реплик для подключения к |
Настройки хранения правил | ||
|
| Режим хранения правил. Возможные значения:
|
|
| Интервал проверки обновления правил. Для частой проверки рекомендуется указывать значение 1–5 секунд, так как проверяется только длина |
Настройка очереди | ||
| — | Имя пространства очереди задач |
Настройки обработки задач | ||
|
| Интервал продления TTR (Time To Release, время жизни задачи) |
|
| Количество обработчиков |
|
| Размер страницы при постраничном чтении составной загрузки |
|
| Количество обработчиков для параллельной обработки составной загрузки в рамках одной задачи |
Подключение к Fringe | ||
| — | Логин учетной записи |
| — | Пароль учетной записи |
|
| Тайм-аут подключения к |
|
| Интервал переподключения к |
|
| Максимальное количество попыток переподключения к |
|
| Интервал проверки соединения с |
| — | Адреса подключения к |
Пример содержимого файла конфигурации config.yaml:
log:level:disable_time: falseenable_source: falseformat: texttargets:- type:enabled: truepath:metrics:graphite:timeout: 1sreconnect_interval: 15swrite_buffer_size: 0network:addr: ""prefix: hotboxruntime:enabled: truecollect_rss: trueinterval: 30shitbox:user:password:timeout: 2sreconnect: 5msmax_reconnects: 100000check_timeout: 1saddresses:- ""rules_storage:mode: directrefresh_interval: 1mxqueue:space: ""touch_interval: 30sworker_count: 1page_size: 1000multipart_workers: 1fringe:user:password:timeout: 2sreconnect: 5msmax_reconnects: 100000check_timeout: 1saddresses:- ""
Чтобы изменить конфигурацию lc-applier:
-
Отредактируйте файл
config.yaml. -
Перезапустите сервис с обновленной конфигурацией:
$ systemctl stop lc-applier$ ./lc-applier --config <ПУТЬ>Здесь
<ПУТЬ>— путь к конфигурационному файлуconfig.yaml.
Компонент lc-cdc-consumer читает поток CDC из NATS, отслеживает изменения составных загрузок и синхронизирует внешний индекс lc-index.
lc-cdc-consumer — единственный компонент, передающий данные в lc-index.
Для унификации процесса с lc-applier компонент lc-cdc-consumer обновляет данные в Matter (рассчитывает время экспирации etime), а после асинхронно читает событие обновления.
lc-cdc-consumer подписан на типы событий составных загрузок из NATS, приведенные в таблице 3.
Операция | Инициатор | Описание |
|---|---|---|
|
| Обрабатывает новую составную загрузку и устанавливает значение параметра |
|
| Добавляет запись в индекс при установке значения параметра |
|
| Удаляет запись из индекса |
|
| Удаляет запись из индекса |
События, не перечисленные в таблице, не обрабатываются, но подтверждаются в очереди NATS, чтобы они не доставлялись повторно.
Принцип работы компонента lc-cdc-consumer:
-
lc-cdc-consumerчитает событие добавления новой составной загрузки. -
Проверяет, загружено ли правило
Lifecycleдля бакета с составной загрузкой:- Если правила нет, событие пропускается.
- Если правило есть,
lc-cdc-consumerприменяет его к составной загрузке.
-
Проверяет соответствие правила составной загрузке:
- Если правило не совпало (по префиксу, правило отключено или помечено удаленным), событие пропускается.
- Если правило совпало, рассчитывается значение параметра
etime, которое сохраняется на сторонеMatterчерез процедуруhitbox.int.multipart.set_expiration. После успешного сохранения событие подтверждается.
-
lc-cdc-consumerполучает событие обновления составной загрузки. -
Проверяет содержимое таблицы
attr.lc:- Если таблица содержит значение параметра
etime,lc-cdc-consumerвызывает процедуруPutMultipartExpirationна стороне компонентаlc-index. - Если таблица пустая (или составная загрузка завершена или отменена),
lc-cdc-consumerвызывает процедуруDeleteMultipartExpirationна стороне компонентаlc-index.
- Если таблица содержит значение параметра
Для получения правил Lifecycle компонент lc-index периодически опрашивает таблицу lifecycle_rules по индексу ctime: при первом запуске подгружает все актуальные правила, сохраняет их количество и последнее время обновления таблицы. Если число правил и время обновления не изменились, повторная загрузка не выполняется. При наличии обновлений загружаются новые правила. Если Hitbox недоступен, основной процесс блокируется.
Компонент lc-cdc-consumer идемпотентен: повторная доставка одного события приводит к повторному вызову процедуры Put или Delete, что является безопасным (совпадает первичный ключ).
Конфигурация lc-cdc-consumer находится в файле config.yaml. Параметры конфигурации приведены в таблице 4.
Параметр | Значение по умолчанию | Описание |
|---|---|---|
Логирование | ||
| — | Уровень логирования |
|
| Включение или отключение временных меток в логах. Возможные значения:
|
|
| Включение или отключение сбора информации об источнике. Возможные значения:
|
|
| Формат логов |
| — | Настройки вывода логов |
Метрики | ||
|
| Тайм-аут подключения к Graphite |
|
| Интервал переподключения к Graphite |
|
| Размер буфера записи. |
|
| Протокол сети |
|
| Адрес Graphite для отправки метрик |
|
| Префикс метрик |
|
| Включение или отключение метрик времени выполняемого процесса. Возможные значения:
|
|
| Включение или отключение сбора метрик использования памяти. Возможные значения:
|
|
| Интервал сбора метрик времени выполняемого процесса |
Подключение к Hitbox | ||
| — | Логин учетной записи |
| — | Пароль учетной записи |
|
| Тайм-аут подключения к |
|
| Интервал переподключения к |
|
| Максимальное количество попыток переподключения к |
|
| Интервал проверки соединения с |
|
| Адреса всех master-узлов и реплик для подключения к |
Настройки хранения правил | ||
|
| Режим хранения правил. Возможные значения:
|
|
| Интервал проверки обновления правил |
Подключение к Fringe | ||
| — | Логин учетной записи |
| — | Пароль учетной записи |
|
| Тайм-аут подключения к |
|
| Интервал переподключения к |
|
| Максимальное количество попыток переподключения к |
|
| Интервал проверки соединения с |
|
| Адреса подключения к |
Подключение к lc-index | ||
|
| Адреса подключения к |
|
| Тайм-аут подключения к |
Настройки повторных попыток | ||
|
| Начальный интервал между повторными попытками |
|
| Максимальный интервал между повторными попытками |
|
| Множитель для увеличения интервала между повторными попытками |
Подключение к NATS | ||
|
| Адреса серверов NATS |
| — | Логин учетной записи NATS |
| — | Пароль учетной записи NATS |
|
| Тайм-аут подключения к NATS |
|
| Интервал ожидания перед переподключением к NATS |
|
| Максимальное количество попыток переподключения к NATS. |
| — | Настройки всех
|
Пример содержимого файла конфигурации config.yaml:
log:level:disable_time: falseenable_source: falseformat: texttargets:- type:enabled: truepath:metrics:graphite:timeout: 1sreconnect_interval: 15swrite_buffer_size: 0network: udpaddr:- localhost:2003prefix: hotboxruntime:enabled: truecollect_rss: trueinterval: 30shitbox:user:password:timeout: 2sreconnect: 5msmax_reconnects: 100000check_timeout: 1saddresses:- localhost:7401rules_storage:mode: indirectrefresh_interval: 15sfringe:user:password:timeout: 2sreconnect: 5msmax_reconnects: 100000check_timeout: 1saddresses:- localhost:7001index:addrs:- localhost:9091timeout: 5sretry_backoff:initial_interval: 1smax_interval: 10smultiplier: 2nats:servers:- nats://localhost:4222- nats://localhost:4223- nats://localhost:4224username:password:connect_timeout: 5sreconnect_wait: 1smax_reconnects: -1consumers:- upstream: matter_cdcdurable: lc-cdc-matter-001filter_subject: matter.matter_001.>max_deliver: 10ack_wait: 10smax_ack_pending: 128max_waiting: 128pull_batch: 32
Чтобы изменить конфигурацию lc-cdc-consumer:
-
Отредактируйте файл
config.yaml. -
Перезапустите сервис с обновленной конфигурацией:
$ systemctl start lc-cdc-consumerconfig.yamlчитается только при запуске, поэтому для применения изменений достаточно перезапустить сервис.