VK Data Platform logo
Помощь
Обновлена 20 ноября 2026 г. в 08:38

Подготовка к установке

Перед подготовкой к установке VK Data Platform убедитесь, что:

  1. Выполнены предусловия.
  2. Развернут кластер Kubernetes с базовой инфраструктурой при помощи инсталлятора Base Infra.

Распаковка архива инсталлятора

  1. Создайте на деплой-ноде deploy001 директорию ~/vkcloud/:

    $ mkdir -p ~/vkcloud/
  2. Распакуйте архив с дистрибутивом VK Data Platform в директорию ~/vkcloud/:

    $ cd ~/vkcloud/$ tar -xPf ~/<НАЗВАНИЕ_АРХИВА>.tar

Настройка параметров окружения

  1. Скопируйте сертификат Nexus (для HAProxy) в директорию ~/vkcloud/data-platform/ssl/.

    PEM-файл (с расширением .pem) для HAProxy должен содержать:

    • сертификат домена;
    • промежуточный сертификат или цепочку промежуточных сертификатов;
    • приватный ключ.
  2. Скопируйте сертификат (файл tls.crt) и приватный ключ (файл tls.key) для личного кабинета в формате PEM в директорию ~/vkcloud/data-platform/ssl/. Не меняйте названия файлов.

  3. При наличии собственного корневого сертификата:

    1. Поместите корневой сертификат в директорию ~/vkcloud/data-platform/ssl/ca/. Название файла — rootCA.crt.
    2. Добавьте сертификат в доверенное хранилище на каждом узле Kubernetes.
    3. Перезапустите containerd.
  4. Задайте параметры подключения модуля Atom к S3 в файле ~/ansible-standalone/inventory/group_vars/standalone_kube/helm_atom-standalone.yaml:

    • helm_atom_s3_endpoint_public — эндпоинт S3 с указанием протокола. Пример: http://example.ru.
    • helm_atom_s3_endpoint — внутренний эндпоинт S3 с указанием протокола. Пример: http://example.ru.
    • helm_atom_s3_region — регион S3. Пример: ru-msk.
    • helm_atom_ssl_cert_file — путь до набора корневых сертификатов. Добавьте этот параметр только при использовании самоподписанных сертификатов. Пример: /etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem.
  5. Задайте параметры подключения модуля Windmill к S3 в файле ~/ansible-standalone/inventory/group_vars/standalone_kube/helm_windmill-standalone.yaml:

    • helm_windmill_s3_tools_endpoint — эндпоинт S3 для инструментов с указанием протокола. Пример: http://example.ru.
    • helm_windmill_s3_public_endpoint — публичный эндпоинт S3 с указанием протокола. Пример: http://example.ru.
    • helm_maintenance_backup_s3_endpoint — эндпоинт S3 без указания протокола. Пример: example.ru.
    • helm_maintenance_backup_s3_region — регион S3. Пример: ru-msk.
    • helm_maintenance_backup_s3_secure — протокол публичного эндпоинта S3: false для HTTP, true для HTTPS.
    • helm_windmill_ssl_cert_file — путь до набора корневых сертификатов. Добавьте этот параметр только при использовании самоподписанных сертификатов. Пример: /etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem.
  6. В файле ~/ansible-standalone/inventory/group_vars/standalone_kube/kosmos.yml задайте для Kosmos параметр helm_kosmos_nexus_url — DNS-имя веб-интерфейса Nexus с указанием протокола. Пример: https://dp-repo.dp.corp.devmail.ru.

  7. Задайте параметры подключения модуля Data Platformer к S3 в файле ~/ansible-standalone/inventory/group_vars/standalone_kube/helm_data-platformer-standalone.yaml:

    • helm_data_platformer_s3_endpoint_url — эндпоинт S3 с указанием протокола. Пример: http://example.ru.

    • helm_data_platformer_s3_default_region — регион S3. Пример: ru-msk.

    • helm_data_platformer_standalone_subnets — список подсетей, используемых для размещения узлов кластера. Для каждой подсети укажите переменные:

      • cidr — адрес подсети узлов кластера с маской сети. Пример: 10.139.33.128/25.

      • forbidden_ip_addresses — запрещенные IP-адреса, которые kube-vip не может использовать. Первыми в список (в указанном порядке) добавьте пять последних адресов сети — они нужны для работы платформы и веб-интерфейса:

        1. <ПЕРВЫЕ_ТРИ_ОКТЕТА_IP>.255 — для работы бэкенда.
        2. <ПЕРВЫЕ_ТРИ_ОКТЕТА_IP>.254 — для веб-интерфейса.
        3. <ПЕРВЫЕ_ТРИ_ОКТЕТА_IP>.253 — для веб-интерфейса.
        4. <ПЕРВЫЕ_ТРИ_ОКТЕТА_IP>.252 — для CIAM, Ingress.
        5. <ПЕРВЫЕ_ТРИ_ОКТЕТА_IP>.251 — для работы бэкенда.

        Далее укажите адреса узлов кластера Kubernetes в произвольном порядке:

        • <ПЕРВЫЕ_ТРИ_ОКТЕТА_IP>.1 — первый узел кластера Kubernetes.
        • <ПЕРВЫЕ_ТРИ_ОКТЕТА_IP>.2 — второй узел кластера Kubernetes.
        • <ПЕРВЫЕ_ТРИ_ОКТЕТА_IP>.3 — третий узел кластера Kubernetes.
        • <ПЕРВЫЕ_ТРИ_ОКТЕТА_IP>.n — любой другой узел кластера Kubernetes.

        Здесь <ПЕРВЫЕ_ТРИ_ОКТЕТА_IP> — первые три октета запрещенных IP-адресов. Пример: если подсеть — 10.139.33.0/25, первые три октета — 10.139.33.

    • helm_data_platformer_docker_registry_address — эндпоинт реестра Docker с образами компонентов слоя данных. Указывается без протокола. Пример: dp-repo-dp.dp.corp.devmail.ru.

    • helm_data_platformer_extensions_global_network_policy — параметры сетевой политики:

      • internal_nets — IP-адреса внешних систем, которые разрешают доступ из зон service, dmz, trusted, db. Получите через nslookup и добавьте в формате address/32:

        • адрес S3 — из значения переменной helm_data_platformer_s3_endpoint_url;
        • адрес Nexus — из значения переменной helm_repo_url в файле ~/ansible-standalone/inventory/group_vars/standalone_kube/common.yml;
        • адрес IAM — из значения переменной helm_data_platformer_iam_endpoint.
      • nodes_nets — подсеть узлов кластера в формате <ПЕРВЫЕ_ТРИ_ОКТЕТА_IP>.0/24.

        Здесь <ПЕРВЫЕ_ТРИ_ОКТЕТА_IP> — первые три октета подсети узлов кластера. Пример: если кластер работает в подсети 10.0.5.0/24, введите 10.0.5.0/24.

      • ext_nets — внешние подсети. Если внешние подсети не используются, оставьте значение пустым: [].

      • host_endpoints — параметры создания HostEndpoint. Укажите nodeSelector, ограничивающий создание HostEndpoint узлами Standalone:

        host_endpoints:  enabled: true  interface:    name: tunl0  nodeSelector: "data.vkcs.cloud/nodegroup == 'standalone'"
  8. Задайте параметры подключения Nexus к S3 в файле ~/ansible-standalone/inventory/group_vars/standalone_kube/nexus.yml:

    • nexus_s3_bucket — название бакета для хранения резервных копий Nexus в S3. Пример: data-platform-nexus-backup.
    • nexus_s3_endpoint — эндпоинт S3 с указанием протокола. Пример: http://example.ru.
    • nexus_s3_region — регион S3. Пример: ru-msk.
  9. Задайте параметры для подключения Nexus в файле ~/ansible-standalone/inventory/group_vars/standalone/haproxy.yml:

    • nexus_web_domain — DNS-имя веб-интерфейса Nexus. Пример: dp-repo.dp.corp.devmail.ru.
    • nexus_control_plane_domain — DNS-имя реестра Docker с образами компонентов управляющего слоя. Пример: dp-repo-cp.dp.corp.devmail.ru.
    • nexus_data_plane_domain — DNS-имя реестра Docker с образами компонентов слоя данных. Пример: dp-repo-dp.dp.corp.devmail.ru.
  10. Задайте параметры в файле ~/ansible-standalone/inventory/group_vars/standalone_kube/common.yml:

    • helm_image_registry — DNS-имя реестра Docker с образами компонентов управляющего слоя. Пример: dp-repo-cp.dp.corp.devmail.ru.

    • helm_registry — DNS-имя реестра Docker с образами компонентов слоя данных. Пример: dp-repo-dp.dp.corp.devmail.ru.

    • nexus_web_domain — DNS-имя веб-интерфейса Nexus. Пример: dp-repo.dp.corp.devmail.ru.

    • helm_repo_url — адрес Helm-репозитория в Nexus. Укажите по схеме: https://<DNS_WEB>/repository/public-mcs-helm, где <DNS_WEB> — DNS-имя веб-интерфейса Nexus. Пример: https://dp-repo.dp.corp.devmail.ru/repository/public-mcs-helm.

    • lk_domain — домен личного кабинета. Пример: my.domain.ru.

    • disk_name — название диска, добавленного в VolumeGroup при развертывании кластера Base Infra. Пример: vdb.

      Если дисков несколько, откройте файл:

      $ vi ~/ansible-standalone/inventory/group_vars/standalone_kube/common.yml

      И укажите disk_name в виде списка:

      disk_name:  - nvme0n1  - nvme1n1

      Затем в файле ~/ansible-standalone/playbooks/label-untainted-nodes.yml удалите последнюю задачу и добавьте вместо нее:

      - name: Initialize disk-types annotation  ansible.builtin.set_fact:    disk_types_annotation: {}  run_once: true- name: Add disks to disk-types annotation  ansible.builtin.set_fact:    disk_types_annotation: "{{ disk_types_annotation | combine({item: storage_class}) }}"  loop: "{{ disk_name }}"  run_once: true- name: Apply disk-types annotation using kubectl  ansible.builtin.command:    argv:      - kubectl      - annotate      - node      - "{{ item }}"      - "data.vkcs.cloud/disk-types={{ disk_types_annotation | to_json }}"      - --overwrite  loop: "{{ untainted_nodes }}"  register: annotate_results  changed_when: "'annotated' in annotate_results.stdout"  run_once: true
    • ssh_kube_user — имя пользователя для подключения к серверам кластера Kubernetes. Пример: cloud-user.

    • ssh_key_path — название файла SSH-ключа для подключения к серверам кластера Kubernetes. Пример: id_rsa.

    • helm_custom_ca_bundle_enable — включение использования самоподписанных сертификатов. Укажите true, если используете самоподписанные сертификаты.

    В этом же файле заполните переменные для резервного копирования БД управляющего узла:

    • s3_backup_url — адрес S3 для резервных копий с указанием протокола. Пример: http://example.ru/.
    • s3_bucket_name — название бакета для резервных копий.
    • s3_region — регион S3 для бакета резервных копий. Пример: ru-msk.
    • backup_full_start — шаблон cron для создания резервных копий. Пример: 0 15 * * * — один раз в день в 15:00.
    • backup_full_keep_time — срок хранения резервной копии в днях. Пример: 14.
    • backup_full_enabled — включение создания резервных копий. По умолчанию true. Если указать false, резервные копии создаваться не будут.
  11. Создайте файл ~/envvars.env со следующим содержимым:

    • S3_ACCESS_KEY — публичный ключ для доступа к S3-хранилищу, в котором будут храниться резервные копии сервисов VK Data Platform.
    • S3_SECRET_KEY — приватный ключ для доступа к S3-хранилищу.
    • S3_BACKUP_ACCESS_KEY — публичный ключ для доступа к S3-хранилищу для резервных копий БД управляющего узла.
    • S3_BACKUP_SECRET_KEY — приватный ключ для доступа к S3-хранилищу для резервных копий БД управляющего узла.
    • NEXUS_S3_BACKUP_ACCESS_KEY — публичный ключ для доступа к S3-хранилищу для резервных копий Nexus. Чтобы отключить создание резервных копий Nexus в S3, оставьте параметр не заполненным.
    • NEXUS_S3_BACKUP_SECRET_KEY — приватный ключ для доступа к S3-хранилищу для резервных копий Nexus. Чтобы отключить создание резервных копий Nexus в S3, оставьте параметр не заполненным.
    • VAULT_HELIUM_ACCESS_TOKEN — токен доступа Helium.
    • VAULT_HELIUM_AUTH_SALT — секретная строка (salt) для формирования и проверки данных аутентификации Helium в Vault.
    • VAULT_HELIUM_JWT_AUTH — JWT-токен для аутентификации Helium в Vault.
    • SSH_KUBE_KEY — название файла SSH-ключа для подключения к серверам кластера Kubernetes. Если не заполнено, используется значение по умолчанию id_rsa.

Настройка параметров ядра

  1. На узле Kubernetes создайте файл /etc/sysctl.d/99-inotify-instances.conf со следующим содержимым:

    fs.inotify.max_user_instances=512
  2. Примените изменение:

    $ sudo sysctl -p /etc/sysctl.d/99-inotify-instances.conf

Замена скрипта для самоподписанных сертификатов

  1. Замените скрипт по пути ~/vkcloud/data-platform/scripts/common_func.sh следующим содержимым:

  2. В файле ~/ansible-standalone/playbooks/helm-prepare.yml замените строку:

    ca_bundle_path: "/tmp/ca-bundle.crt"

    на:

    ca_bundle_path: "/tmp/ca-bundle/ca-bundle.crt"

Настройка Solar Static для самоподписанных сертификатов

  1. Создайте файл solar-helium.yaml в директории ~/ansible-standalone/roles/helm-chart-installer/overrides/:

    $ mkdir -p ~/ansible-standalone/roles/helm-chart-installer/overrides$ vi ~/ansible-standalone/roles/helm-chart-installer/overrides/solar-helium.yaml
  2. Добавьте в файл следующее содержимое:

    customCA:  enabled: true  hostPath: /etc/pki/ca-trust/source/anchors  mountPath: /etc/pki/ca-trust/source/anchors
  3. Проверьте содержимое файла:

    $ cat ~/ansible-standalone/roles/helm-chart-installer/overrides/solar-helium.yaml
Была ли статья полезна?