Подготовка к установке
Перед подготовкой к установке VK Data Platform убедитесь, что:
- Выполнены предусловия.
- Развернут кластер Kubernetes с базовой инфраструктурой при помощи инсталлятора Base Infra.
-
Создайте на деплой-ноде
deploy001директорию~/vkcloud/:$ mkdir -p ~/vkcloud/ -
Распакуйте архив с дистрибутивом VK Data Platform в директорию
~/vkcloud/:$ cd ~/vkcloud/$ tar -xPf ~/<НАЗВАНИЕ_АРХИВА>.tar
-
Скопируйте сертификат Nexus (для HAProxy) в директорию
~/vkcloud/data-platform/ssl/.PEM-файл (с расширением
.pem) для HAProxy должен содержать:- сертификат домена;
- промежуточный сертификат или цепочку промежуточных сертификатов;
- приватный ключ.
-
Скопируйте сертификат (файл
tls.crt) и приватный ключ (файлtls.key) для личного кабинета в формате PEM в директорию~/vkcloud/data-platform/ssl/. Не меняйте названия файлов. -
При наличии собственного корневого сертификата:
- Поместите корневой сертификат в директорию
~/vkcloud/data-platform/ssl/ca/. Название файла —rootCA.crt. - Добавьте сертификат в доверенное хранилище на каждом узле Kubernetes.
- Перезапустите
containerd.
- Поместите корневой сертификат в директорию
-
Задайте параметры подключения модуля Atom к S3 в файле
~/ansible-standalone/inventory/group_vars/standalone_kube/helm_atom-standalone.yaml:helm_atom_s3_endpoint_public— эндпоинт S3 с указанием протокола. Пример:http://example.ru.helm_atom_s3_endpoint— внутренний эндпоинт S3 с указанием протокола. Пример:http://example.ru.helm_atom_s3_region— регион S3. Пример:ru-msk.helm_atom_ssl_cert_file— путь до набора корневых сертификатов. Добавьте этот параметр только при использовании самоподписанных сертификатов. Пример:/etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem.
-
Задайте параметры подключения модуля Windmill к S3 в файле
~/ansible-standalone/inventory/group_vars/standalone_kube/helm_windmill-standalone.yaml:helm_windmill_s3_tools_endpoint— эндпоинт S3 для инструментов с указанием протокола. Пример:http://example.ru.helm_windmill_s3_public_endpoint— публичный эндпоинт S3 с указанием протокола. Пример:http://example.ru.helm_maintenance_backup_s3_endpoint— эндпоинт S3 без указания протокола. Пример:example.ru.helm_maintenance_backup_s3_region— регион S3. Пример:ru-msk.helm_maintenance_backup_s3_secure— протокол публичного эндпоинта S3:falseдля HTTP,trueдля HTTPS.helm_windmill_ssl_cert_file— путь до набора корневых сертификатов. Добавьте этот параметр только при использовании самоподписанных сертификатов. Пример:/etc/pki/ca-trust/extracted/pem/tls-ca-bundle.pem.
-
В файле
~/ansible-standalone/inventory/group_vars/standalone_kube/kosmos.ymlзадайте для Kosmos параметрhelm_kosmos_nexus_url— DNS-имя веб-интерфейса Nexus с указанием протокола. Пример:https://dp-repo.dp.corp.devmail.ru. -
Задайте параметры подключения модуля Data Platformer к S3 в файле
~/ansible-standalone/inventory/group_vars/standalone_kube/helm_data-platformer-standalone.yaml:-
helm_data_platformer_s3_endpoint_url— эндпоинт S3 с указанием протокола. Пример:http://example.ru. -
helm_data_platformer_s3_default_region— регион S3. Пример:ru-msk. -
helm_data_platformer_standalone_subnets— список подсетей, используемых для размещения узлов кластера. Для каждой подсети укажите переменные:-
cidr— адрес подсети узлов кластера с маской сети. Пример:10.139.33.128/25. -
forbidden_ip_addresses— запрещенные IP-адреса, которые kube-vip не может использовать. Первыми в список (в указанном порядке) добавьте пять последних адресов сети — они нужны для работы платформы и веб-интерфейса:<ПЕРВЫЕ_ТРИ_ОКТЕТА_IP>.255— для работы бэкенда.<ПЕРВЫЕ_ТРИ_ОКТЕТА_IP>.254— для веб-интерфейса.<ПЕРВЫЕ_ТРИ_ОКТЕТА_IP>.253— для веб-интерфейса.<ПЕРВЫЕ_ТРИ_ОКТЕТА_IP>.252— для CIAM, Ingress.<ПЕРВЫЕ_ТРИ_ОКТЕТА_IP>.251— для работы бэкенда.
Далее укажите адреса узлов кластера Kubernetes в произвольном порядке:
<ПЕРВЫЕ_ТРИ_ОКТЕТА_IP>.1— первый узел кластера Kubernetes.<ПЕРВЫЕ_ТРИ_ОКТЕТА_IP>.2— второй узел кластера Kubernetes.<ПЕРВЫЕ_ТРИ_ОКТЕТА_IP>.3— третий узел кластера Kubernetes.<ПЕРВЫЕ_ТРИ_ОКТЕТА_IP>.n— любой другой узел кластера Kubernetes.
Здесь
<ПЕРВЫЕ_ТРИ_ОКТЕТА_IP>— первые три октета запрещенных IP-адресов. Пример: если подсеть —10.139.33.0/25, первые три октета —10.139.33.
-
-
helm_data_platformer_docker_registry_address— эндпоинт реестра Docker с образами компонентов слоя данных. Указывается без протокола. Пример:dp-repo-dp.dp.corp.devmail.ru. -
helm_data_platformer_extensions_global_network_policy— параметры сетевой политики:-
internal_nets— IP-адреса внешних систем, которые разрешают доступ из зонservice,dmz,trusted,db. Получите черезnslookupи добавьте в форматеaddress/32:- адрес S3 — из значения переменной
helm_data_platformer_s3_endpoint_url; - адрес Nexus — из значения переменной
helm_repo_urlв файле~/ansible-standalone/inventory/group_vars/standalone_kube/common.yml; - адрес IAM — из значения переменной
helm_data_platformer_iam_endpoint.
- адрес S3 — из значения переменной
-
nodes_nets— подсеть узлов кластера в формате<ПЕРВЫЕ_ТРИ_ОКТЕТА_IP>.0/24.Здесь
<ПЕРВЫЕ_ТРИ_ОКТЕТА_IP>— первые три октета подсети узлов кластера. Пример: если кластер работает в подсети10.0.5.0/24, введите10.0.5.0/24. -
ext_nets— внешние подсети. Если внешние подсети не используются, оставьте значение пустым:[]. -
host_endpoints— параметры создания HostEndpoint. УкажитеnodeSelector, ограничивающий создание HostEndpoint узлами Standalone:host_endpoints:enabled: trueinterface:name: tunl0nodeSelector: "data.vkcs.cloud/nodegroup == 'standalone'"
-
-
-
Задайте параметры подключения Nexus к S3 в файле
~/ansible-standalone/inventory/group_vars/standalone_kube/nexus.yml:nexus_s3_bucket— название бакета для хранения резервных копий Nexus в S3. Пример:data-platform-nexus-backup.nexus_s3_endpoint— эндпоинт S3 с указанием протокола. Пример:http://example.ru.nexus_s3_region— регион S3. Пример:ru-msk.
-
Задайте параметры для подключения Nexus в файле
~/ansible-standalone/inventory/group_vars/standalone/haproxy.yml:nexus_web_domain— DNS-имя веб-интерфейса Nexus. Пример:dp-repo.dp.corp.devmail.ru.nexus_control_plane_domain— DNS-имя реестра Docker с образами компонентов управляющего слоя. Пример:dp-repo-cp.dp.corp.devmail.ru.nexus_data_plane_domain— DNS-имя реестра Docker с образами компонентов слоя данных. Пример:dp-repo-dp.dp.corp.devmail.ru.
-
Задайте параметры в файле
~/ansible-standalone/inventory/group_vars/standalone_kube/common.yml:-
helm_image_registry— DNS-имя реестра Docker с образами компонентов управляющего слоя. Пример:dp-repo-cp.dp.corp.devmail.ru. -
helm_registry— DNS-имя реестра Docker с образами компонентов слоя данных. Пример:dp-repo-dp.dp.corp.devmail.ru. -
nexus_web_domain— DNS-имя веб-интерфейса Nexus. Пример:dp-repo.dp.corp.devmail.ru. -
helm_repo_url— адрес Helm-репозитория в Nexus. Укажите по схеме:https://<DNS_WEB>/repository/public-mcs-helm, где<DNS_WEB>— DNS-имя веб-интерфейса Nexus. Пример:https://dp-repo.dp.corp.devmail.ru/repository/public-mcs-helm. -
lk_domain— домен личного кабинета. Пример:my.domain.ru. -
disk_name— название диска, добавленного в VolumeGroup при развертывании кластера Base Infra. Пример:vdb.Если дисков несколько, откройте файл:
$ vi ~/ansible-standalone/inventory/group_vars/standalone_kube/common.ymlИ укажите
disk_nameв виде списка:disk_name:- nvme0n1- nvme1n1Затем в файле
~/ansible-standalone/playbooks/label-untainted-nodes.ymlудалите последнюю задачу и добавьте вместо нее:- name: Initialize disk-types annotationansible.builtin.set_fact:disk_types_annotation: {}run_once: true- name: Add disks to disk-types annotationansible.builtin.set_fact:disk_types_annotation: "{{ disk_types_annotation | combine({item: storage_class}) }}"loop: "{{ disk_name }}"run_once: true- name: Apply disk-types annotation using kubectlansible.builtin.command:argv:- kubectl- annotate- node- "{{ item }}"- "data.vkcs.cloud/disk-types={{ disk_types_annotation | to_json }}"- --overwriteloop: "{{ untainted_nodes }}"register: annotate_resultschanged_when: "'annotated' in annotate_results.stdout"run_once: true -
ssh_kube_user— имя пользователя для подключения к серверам кластера Kubernetes. Пример:cloud-user. -
ssh_key_path— название файла SSH-ключа для подключения к серверам кластера Kubernetes. Пример:id_rsa. -
helm_custom_ca_bundle_enable— включение использования самоподписанных сертификатов. Укажитеtrue, если используете самоподписанные сертификаты.
В этом же файле заполните переменные для резервного копирования БД управляющего узла:
s3_backup_url— адрес S3 для резервных копий с указанием протокола. Пример:http://example.ru/.s3_bucket_name— название бакета для резервных копий.s3_region— регион S3 для бакета резервных копий. Пример:ru-msk.backup_full_start— шаблон cron для создания резервных копий. Пример:0 15 * * *— один раз в день в 15:00.backup_full_keep_time— срок хранения резервной копии в днях. Пример:14.backup_full_enabled— включение создания резервных копий. По умолчаниюtrue. Если указатьfalse, резервные копии создаваться не будут.
-
-
Создайте файл
~/envvars.envсо следующим содержимым:S3_ACCESS_KEY— публичный ключ для доступа к S3-хранилищу, в котором будут храниться резервные копии сервисов VK Data Platform.S3_SECRET_KEY— приватный ключ для доступа к S3-хранилищу.S3_BACKUP_ACCESS_KEY— публичный ключ для доступа к S3-хранилищу для резервных копий БД управляющего узла.S3_BACKUP_SECRET_KEY— приватный ключ для доступа к S3-хранилищу для резервных копий БД управляющего узла.NEXUS_S3_BACKUP_ACCESS_KEY— публичный ключ для доступа к S3-хранилищу для резервных копий Nexus. Чтобы отключить создание резервных копий Nexus в S3, оставьте параметр не заполненным.NEXUS_S3_BACKUP_SECRET_KEY— приватный ключ для доступа к S3-хранилищу для резервных копий Nexus. Чтобы отключить создание резервных копий Nexus в S3, оставьте параметр не заполненным.VAULT_HELIUM_ACCESS_TOKEN— токен доступа Helium.VAULT_HELIUM_AUTH_SALT— секретная строка (salt) для формирования и проверки данных аутентификации Helium в Vault.VAULT_HELIUM_JWT_AUTH— JWT-токен для аутентификации Helium в Vault.SSH_KUBE_KEY— название файла SSH-ключа для подключения к серверам кластера Kubernetes. Если не заполнено, используется значение по умолчаниюid_rsa.
-
На узле Kubernetes создайте файл
/etc/sysctl.d/99-inotify-instances.confсо следующим содержимым:fs.inotify.max_user_instances=512 -
Примените изменение:
$ sudo sysctl -p /etc/sysctl.d/99-inotify-instances.conf
-
Замените скрипт по пути
~/vkcloud/data-platform/scripts/common_func.shследующим содержимым: -
В файле
~/ansible-standalone/playbooks/helm-prepare.ymlзамените строку:ca_bundle_path: "/tmp/ca-bundle.crt"на:
ca_bundle_path: "/tmp/ca-bundle/ca-bundle.crt"
-
Создайте файл
solar-helium.yamlв директории~/ansible-standalone/roles/helm-chart-installer/overrides/:$ mkdir -p ~/ansible-standalone/roles/helm-chart-installer/overrides$ vi ~/ansible-standalone/roles/helm-chart-installer/overrides/solar-helium.yaml -
Добавьте в файл следующее содержимое:
customCA:enabled: truehostPath: /etc/pki/ca-trust/source/anchorsmountPath: /etc/pki/ca-trust/source/anchors -
Проверьте содержимое файла:
$ cat ~/ansible-standalone/roles/helm-chart-installer/overrides/solar-helium.yaml