VK Object Storage logo
Помощь
Обновлена 18 ноября 2026 г. в 11:50

Управление жизненным циклом (Lifecycle) объектов

Настройка правил жизненного цикла (Lifecycle)

Конфигурация жизненного цикла (Lifecycle) объектов управляется через компонент Matter и находится на сервере Etcd с префиксом matter/common/app/lifecycle.

Параметры конфигурации, влияющие на процесс обработки правил жизненного цикла, приведены в таблице 1.

Таблица 1 — Параметры жизненного цикла

Параметр

Значение по умолчанию

Описание

Общие настройки

app.lifecycle.disabled

false

Включение или отключение управления жизненным циклом объектов. false — включено

app.lifecycle.debug

false

Включение или отключение расширенного логирования жизненного цикла. false — включено

app.lifecycle.recycle

true

Включение или отключение отложенного удаления записи об объекте через корзину (recycle). true — включено

app.lifecycle.items_per_loop

300

Количество объектов, удаляемых за одну транзакцию

Настройки файбера удаления

app.lifecycle.expiration.disabled

false

Включение или отключение файбера удаления (экспирации). false — включено

app.lifecycle.interval

1

Промежуток времени между удалениями батчей app.lifecycle.items_per_loop объектов с временной меткой в прошлом, секунды

Настройки обработчиков PutBucketLifecycleConfiguration / DeleteBucketLifecycle

app.lifecycle.workers

4

Количество обработчиков (worker) обновления правил жизненного цикла

app.lifecycle.yield_after

100

Количество записей, через которое производится yield при обработке объектов бакета

app.lifecycle.yield_sleep_time

0

Длительность ожидания после проверки app.lifecycle.yield_after объектов в бакете при применении правил жизненного цикла во время PutBucketLifecycleConfiguration, DeletebucketLifecycleConfiguration. В секундах

Чтобы получить текущие параметры жизненного цикла:

$ switchover -p hotbox e getr "matter/common/app/lifecycle"

Чтобы установить значение параметра жизненного цикла, выполните последовательно команды:

$ switchover -p hotbox e set "/matter/common/app/lifecycle/<ИМЯ_ПАРАМЕТРА>" <ЗНАЧЕНИЕ>$ switchover -p hotbox pr --cluster matter

Чтобы включить отложенное удаление через корзину, выполните команды включения корзины, отладочных логов и перезапустите кластер Matter:

$ switchover -p hotbox e set "/matter/common/app/recycle/enabled" true$ switchover -p hotbox e set "/matter/common/app/recycle/debug" true$ switchover -p hotbox pr --cluster matter

Обработка жизненного цикла влияет на производительность системы. Для оптимизации нагрузки на систему при первом включении жизненного цикла рекомендуется временно использовать минимальные значения параметров:

  • workers: 1.

    Установка обработки правил в однопоточный режим. Таким образом правила применяются последовательно. Единовременно будет обрабатываться только один бакет. Снизится нагрузка при частом изменении правил (при большом количестве обработчиков применение нескольких правил за короткий промежуток может вызвать одновременное перечитывание жизненного цикла для всех объектов в бакете, для каждого правила).

  • items_per_loop: 10.

  • recycle: false.

    Рекомендуется временно отключить корзину из-за большой очереди на обработку правил жизненного цикла.

    Если параметр recycle включен, объекты перед удалением перемещаются в корзину. При этом происходит полный цикл обработки объекта: чтение исходного объекта, запись данных объекта в корзине и удаление исходной записи. При работе с большим количеством объектов это значительно увеличивает количество обращений к БД. Также увеличивается нагрузка на CPU, сеть и дисковую подсистему БД.

Сценарий жизненного цикла:

  1. Установка TTL (Time To Live, время жизни объекта) при помощи жизненного цикла: параметрам app.lifecycle.disabled и app.lifecycle.expiration.disabled установите значение false.

  2. При добавлении нового объекта в бакет, содержащий правила жизненного цикла, или при изменении правил жизненного цикла бакета:

    1. Для правила проверяется его статус (включено или отключено) и соответствие объекта (объектов) фильтрам, указанным в правиле (проверяется совпадение префикса, тега, либо комбинации префикса и тегов).
    2. При выполнении условий у объекта (объектов) выставляется временная метка (expiration time, etime), когда объект необходимо удалить. Временная метка вычисляется как сумма времени создания объекта и TTL.
  3. Проверка по всем объектам в хранилище, у которых проставлен TTL, повторяется в бесконечном цикле. На каждом проходе:

    1. Выявляются объекты с временной меткой больше 0.

    2. Объекты с временной меткой, меньшей, чем текущее время и дата:

      • Если корзина включена, перемещаются в корзину, после чего удаляются из БД.

      • Если корзина отключена, удаляются из БД.

Процедура удаления объектов с TTL происходит непрерывно:

  1. Обработчик (worker) запускает вычитывание объектов (с временной меткой меньшей, чем текущее время и дата).

  2. Создается список на удаление объектов (количество объектов задается параметром items_per_loop).

  3. Если список наполнился или все объекты в бакете были вычитаны, объекты удаляются или перемещаются в корзину.

  4. Наполняется новый список на удаление объектов.

  5. Когда все объекты в бакете будут вычитаны, обработчик ожидает выполнения одного из условий:

    • (приоритетное) установленное значение временной метки, если разница между значением временной метки и текущим временем больше 0;
    • установленное значение app.lifecycle.interval.

Обработка TTL влияет на загрузку объема памяти:

  1. При удалении объектов производится запись в WAL-лог Tarantool в директории var/lib/tarantool/xlogs/ и var/lib/tarantool/snaps/. Если количество удаляемых объектов с TTL превышает скорость репликации Tarantool, это приведет к накапливанию записей.
  2. При отложенном удалении через корзину вместо одной записи об удалении создаются три: удаление из спейса objects, добавление в спейс recycle и удаление из спейса recycle (по TTL корзины). Соответственно, возникает проблема со скоростью репликации.

Логи корзины и жизненного цикла находятся в директории /var/log/matter/.

Конфигурация компонента lc-index

Внешний индекс (lifecycle-events-db) для хранения рассчитанного времени экспирации multipart upload. Используется компонентом lc-expiration-manager для выборки записей, готовых к удалению.

Настройка применения правил к составным загрузкам

Компонент lc-applier применяет правила прерывания AbortIncompleteMultipartUpload к незавершенным составным загрузкам.

Компонент lc-applier получает задачи из очереди Hitbox при изменении правил. Затем он обходит составные загрузки бакета в статусе Initiated, пересчитывает время выполнения правил и синхронизирует состояние с Matter и lc-index через Fringe.

Конфигурация lc-applier находится в файле config.yaml. Параметры конфигурации приведены в таблице 2.

Таблица 2 — Параметры lc-applier

Параметр

Значение по умолчанию

Описание

Логирование

log.level

—

Уровень логирования

log.disable_time

false

Включение или отключение временных меток в логах. Возможные значения:

  • false — отключено;
  • true — включено

log.enable_source

false

Включение или отключение сбора информации об источнике. Возможные значения:

  • false — отключено;
  • true — включено

log.format

text

Формат логов

log.targets

—

Настройки вывода логов

Метрики

metrics.graphite.timeout

1s

Тайм-аут подключения к Graphite

metrics.graphite.reconnect_interval

15s

Интервал переподключения к Graphite

metrics.graphite.write_buffer_size

0

Размер буфера записи. 0 — мгновенная отправка данных

metrics.graphite.network

—

Протокол сети

metrics.graphite.addr

—

Адрес Graphite для отправки метрик

metrics.graphite.prefix

hotbox

Префикс метрик

metrics.runtime.enabled

true

Включение или отключение метрик времени выполняемого процесса. Возможные значения:

  • false — отключено;
  • true — включено

metrics.runtime.collect_rss

true

Включение или отключение сбора метрик использования памяти. Возможные значения:

  • false — отключено;
  • true — включено

metrics.runtime.interval

30s

Интервал сбора метрик времени выполняемого процесса

Подключение к Hitbox

hitbox.user

—

Логин учетной записи Hitbox

hitbox.password

—

Пароль учетной записи Hitbox

hitbox.timeout

2s

Тайм-аут подключения к Hitbox

hitbox.reconnect

5ms

Интервал переподключения к Hitbox

hitbox.max_reconnects

100000

Максимальное количество попыток переподключения к Hitbox

hitbox.check_timeout

1s

Интервал проверки соединения с Hitbox

hitbox.addresses

—

Адреса всех master-узлов и реплик для подключения к Hitbox

Настройки хранения правил

rules_storage.mode

direct

Режим хранения правил. Возможные значения:

  • direct — прямые запросы в Hitbox;
  • indirect — непрямые запросы (lc-applier кеширует все правила и обновляет их по интервалу refresh_interval)

rules_storage.refresh_interval

1m

Интервал проверки обновления правил. Для частой проверки рекомендуется указывать значение 1–5 секунд, так как проверяется только длина space и последняя дата изменения правила

Настройка очереди

xqueue.space

—

Имя пространства очереди задач

Настройки обработки задач

touch_interval

30s

Интервал продления TTR (Time To Release, время жизни задачи)

worker_count

1

Количество обработчиков

page_size

1000

Размер страницы при постраничном чтении составной загрузки

multipart_workers

1

Количество обработчиков для параллельной обработки составной загрузки в рамках одной задачи

Подключение к Fringe

fringe.user

—

Логин учетной записи Fringe

fringe.password

—

Пароль учетной записи Fringe

fringe.timeout

2s

Тайм-аут подключения к Fringe

fringe.reconnect

5ms

Интервал переподключения к Fringe

fringe.max_reconnects

100000

Максимальное количество попыток переподключения к Fringe

fringe.check_timeout

1s

Интервал проверки соединения с Fringe

fringe.addresses

—

Адреса подключения к Fringe

Пример содержимого файла конфигурации config.yaml:

log:  level:  disable_time: false  enable_source: false  format: text  targets:    - type:      enabled: true      path:metrics:  graphite:    timeout: 1s    reconnect_interval: 15s    write_buffer_size: 0    network:     addr: ""    prefix: hotbox  runtime:    enabled: true    collect_rss: true    interval: 30shitbox:  user:   password:   timeout: 2s  reconnect: 5ms  max_reconnects: 100000  check_timeout: 1s  addresses:    - ""rules_storage:  mode: direct  refresh_interval: 1mxqueue:  space: ""touch_interval: 30sworker_count: 1page_size: 1000multipart_workers: 1fringe:  user:  password:  timeout: 2s  reconnect: 5ms  max_reconnects: 100000  check_timeout: 1s  addresses:    - ""

Чтобы изменить конфигурацию lc-applier:

  1. Отредактируйте файл config.yaml.

  2. Перезапустите сервис с обновленной конфигурацией:

    $ systemctl stop lc-applier$ ./lc-applier --config <ПУТЬ>

    Здесь <ПУТЬ> — путь к конфигурационному файлу config.yaml.

Компонент lc-cdc-consumer

Компонент lc-cdc-consumer читает поток CDC из NATS, отслеживает изменения составных загрузок и синхронизирует внешний индекс lc-index.

lc-cdc-consumer — единственный компонент, передающий данные в lc-index.

Для унификации процесса с lc-applier компонент lc-cdc-consumer обновляет данные в Matter (рассчитывает время экспирации etime), а после асинхронно читает событие обновления.

lc-cdc-consumer подписан на типы событий составных загрузок из NATS, приведенные в таблице 3.

Таблица 3 — События lc-cdc-consumer

Операция

Инициатор

Описание

insert

InitiateMultipart

Обрабатывает новую составную загрузку и устанавливает значение параметра etime. Вызывает процедуру hitbox.int.multipart.set_expiration

update

hitbox.int.multipart.set_expiration

Добавляет запись в индекс при установке значения параметра etime. При очистке таблицы attr.lc удаляет запись из индекса

update

AbortMultipartUpload

Удаляет запись из индекса

update

CompleteMultipart

Удаляет запись из индекса

События, не перечисленные в таблице, не обрабатываются, но подтверждаются в очереди NATS, чтобы они не доставлялись повторно.

Принцип работы компонента lc-cdc-consumer:

  1. lc-cdc-consumer читает событие добавления новой составной загрузки.

  2. Проверяет, загружено ли правило Lifecycle для бакета с составной загрузкой:

    • Если правила нет, событие пропускается.
    • Если правило есть, lc-cdc-consumer применяет его к составной загрузке.
  3. Проверяет соответствие правила составной загрузке:

    • Если правило не совпало (по префиксу, правило отключено или помечено удаленным), событие пропускается.
    • Если правило совпало, рассчитывается значение параметра etime, которое сохраняется на стороне Matter через процедуру hitbox.int.multipart.set_expiration. После успешного сохранения событие подтверждается.
  4. lc-cdc-consumer получает событие обновления составной загрузки.

  5. Проверяет содержимое таблицы attr.lc:

    • Если таблица содержит значение параметра etime, lc-cdc-consumer вызывает процедуру PutMultipartExpiration на стороне компонента lc-index.
    • Если таблица пустая (или составная загрузка завершена или отменена), lc-cdc-consumer вызывает процедуру DeleteMultipartExpiration на стороне компонента lc-index.

Для получения правил Lifecycle компонент lc-index периодически опрашивает таблицу lifecycle_rules по индексу ctime: при первом запуске подгружает все актуальные правила, сохраняет их количество и последнее время обновления таблицы. Если число правил и время обновления не изменились, повторная загрузка не выполняется. При наличии обновлений загружаются новые правила. Если Hitbox недоступен, основной процесс блокируется.

Компонент lc-cdc-consumer идемпотентен: повторная доставка одного события приводит к повторному вызову процедуры Put или Delete, что является безопасным (совпадает первичный ключ).

Конфигурация lc-cdc-consumer находится в файле config.yaml. Параметры конфигурации приведены в таблице 4.

Таблица 4 — Параметры lc-cdc-consumer

Параметр

Значение по умолчанию

Описание

Логирование

log.level

—

Уровень логирования

log.disable_time

false

Включение или отключение временных меток в логах. Возможные значения:

  • false — отключено;
  • true — включено

log.enable_source

false

Включение или отключение сбора информации об источнике. Возможные значения:

  • false — отключено;
  • true — включено

log.format

text

Формат логов

log.targets

—

Настройки вывода логов

Метрики

metrics.graphite.timeout

1s

Тайм-аут подключения к Graphite

metrics.graphite.reconnect_interval

15s

Интервал переподключения к Graphite

metrics.graphite.write_buffer_size

0

Размер буфера записи. 0 — мгновенная отправка данных

metrics.graphite.network

udp

Протокол сети

metrics.graphite.addr

localhost:2003

Адрес Graphite для отправки метрик

metrics.graphite.prefix

hotbox

Префикс метрик

metrics.runtime.enabled

true

Включение или отключение метрик времени выполняемого процесса. Возможные значения:

  • false — отключено;
  • true — включено

metrics.runtime.collect_rss

true

Включение или отключение сбора метрик использования памяти. Возможные значения:

  • false — отключено;
  • true — включено

metrics.runtime.interval

30s

Интервал сбора метрик времени выполняемого процесса

Подключение к Hitbox

hitbox.user

—

Логин учетной записи Hitbox

hitbox.password

—

Пароль учетной записи Hitbox

hitbox.timeout

2s

Тайм-аут подключения к Hitbox

hitbox.reconnect

5ms

Интервал переподключения к Hitbox

hitbox.max_reconnects

100000

Максимальное количество попыток переподключения к Hitbox

hitbox.check_timeout

1s

Интервал проверки соединения с Hitbox

hitbox.addresses

localhost:7401

Адреса всех master-узлов и реплик для подключения к Hitbox

Настройки хранения правил

rules_storage.mode

indirect

Режим хранения правил. Возможные значения:

  • indirect — непрямые запросы (lc-cdc-consumer кеширует все правила и обновляет их по интервалу refresh_interval);
  • direct — прямые запросы в Hitbox

rules_storage.refresh_interval

15s

Интервал проверки обновления правил

Подключение к Fringe

fringe.user

—

Логин учетной записи Fringe

fringe.password

—

Пароль учетной записи Fringe

fringe.timeout

2s

Тайм-аут подключения к Fringe

fringe.reconnect

5ms

Интервал переподключения к Fringe

fringe.max_reconnects

100000

Максимальное количество попыток переподключения к Fringe

fringe.check_timeout

1s

Интервал проверки соединения с Fringe

fringe.addresses

localhost:7001

Адреса подключения к Fringe

Подключение к lc-index

index.addrs

localhost:9091

Адреса подключения к lc-index

index.timeout

5s

Тайм-аут подключения к lc-index

Настройки повторных попыток

retry_backoff.initial_interval

1s

Начальный интервал между повторными попытками

retry_backoff.max_interval

10s

Максимальный интервал между повторными попытками

retry_backoff.multiplier

2

Множитель для увеличения интервала между повторными попытками

Подключение к NATS

nats.servers

nats://localhost:4222 + nats://localhost:4223 + nats://localhost:4224

Адреса серверов NATS

nats.username

—

Логин учетной записи NATS

nats.password

—

Пароль учетной записи NATS

nats.connect_timeout

5s

Тайм-аут подключения к NATS

nats.reconnect_wait

1s

Интервал ожидания перед переподключением к NATS

nats.max_reconnects

-1

Максимальное количество попыток переподключения к NATS. -1 — без ограничений

nats.consumers

—

Настройки всех consumer NATS. Каждый consumer содержит параметры:

  • upstream — имя потока, должно быть указано заранее. Например: matter_cdc.
  • durable — имя постоянного consumer. Такой consumer будет обновлен или создан внутри NATS. Имя должно быть уникальным для восстановления состояния. Например: lc-cdc-matter-001.
  • filter_subject — фильтр тем. consumer читает из потока данных сообщения, относящиеся к темам этого фильтра. Например: matter.matter_001.>.
  • max_deliver — максимальное количество доставок.
  • ack_wait — тайм-аут ожидания подтверждения.
  • max_ack_pending — максимальное количество неподтвержденных сообщений.
  • max_waiting — максимальное количество ожидающих запросов.
  • pull_batch — размер пакета при чтении

Пример содержимого файла конфигурации config.yaml:

log:  level:  disable_time: false  enable_source: false  format: text  targets:    - type:      enabled: true      path:metrics:  graphite:    timeout: 1s    reconnect_interval: 15s    write_buffer_size: 0    network: udp    addr:      - localhost:2003    prefix: hotbox  runtime:    enabled: true    collect_rss: true    interval: 30shitbox:  user:  password:  timeout: 2s  reconnect: 5ms  max_reconnects: 100000  check_timeout: 1s  addresses:    - localhost:7401rules_storage:  mode: indirect  refresh_interval: 15sfringe:  user:  password:  timeout: 2s  reconnect: 5ms  max_reconnects: 100000  check_timeout: 1s  addresses:    - localhost:7001index:  addrs:    - localhost:9091  timeout: 5sretry_backoff:  initial_interval: 1s  max_interval: 10s  multiplier: 2nats:  servers:    - nats://localhost:4222    - nats://localhost:4223    - nats://localhost:4224  username:  password:  connect_timeout: 5s  reconnect_wait: 1s  max_reconnects: -1  consumers:    - upstream: matter_cdc      durable: lc-cdc-matter-001      filter_subject: matter.matter_001.>      max_deliver: 10      ack_wait: 10s      max_ack_pending: 128      max_waiting: 128      pull_batch: 32

Чтобы изменить конфигурацию lc-cdc-consumer:

  1. Отредактируйте файл config.yaml.

  2. Перезапустите сервис с обновленной конфигурацией:

    $ systemctl start lc-cdc-consumer

    config.yaml читается только при запуске, поэтому для применения изменений достаточно перезапустить сервис.

Была ли статья полезна?