VK Data Platform logo
Помощь
Обновлена 20 ноября 2026 г. в 11:38

Развертывание кластера Kubernetes из дистрибутива Base Infra

Подготовка кластера Kubernetes с базовой инфраструктурой, необходимой для установки VK Data Platform в версиях Standalone и Standalone в составе VK Private Cloud, выполняется с помощью дистрибутива Base Infra.

Перед запуском инсталлятора убедитесь, что выполнены предусловия.

Распаковка архивов

  1. Подключитесь к деплой-ноде.

  2. Экспортируйте переменную RELEASE_VERSION со значением 55416-baseinfra-26-1:

    $ export RELEASE_VERSION=55416-baseinfra-26-1
  3. Распакуйте архив с артефактами Base Infra:

    $ tar -xvf nexus-${RELEASE_VERSION}.tar && \tar -xf repos_mcs_distr_*.tar.gz
  4. Экспортируйте переменную RELEASE_VERSION со значением box-26.1-rc-YOU:

    $ export RELEASE_VERSION=box-26.1-rc-YOU
  5. Перейдите в директорию nexus-${RELEASE_VERSION} и распакуйте архив с RPM-пакетами Docker:

    $ cd nexus-${RELEASE_VERSION} && \tar xf docker-rpms.tar.gz
  6. Установите Docker:

    $ sudo dnf install -y ./docker-ce/*.rpm$ sudo systemctl enable --now docker$ sudo systemctl status docker$ sudo usermod -aG docker $USER
  7. Выйдите из текущей SSH-сессии и повторно авторизуйтесь в системе.

Установка Nexus

  1. Экспортируйте переменную RELEASE_VERSION со значением box-26.1-rc-YOU:

    $ export RELEASE_VERSION=box-26.1-rc-YOU
  2. Перейдите в директорию nexus-${RELEASE_VERSION}:

    $ cd nexus-${RELEASE_VERSION}
  3. Задайте объем оперативной памяти, выделенной для работы Nexus:

    $ sed -i 's/--memory="2800m"//g' run_nexus.sh
  4. Получите root-права:

    $ sudo su
  5. Запустите скрипт развертывания Nexus run_nexus.sh:

    # ./run_nexus.sh ${RELEASE_VERSION} | tee ~/run_nexus.out
  6. Выйдите из root-сессии:

    # exit
  7. Проверьте, что Nexus запущен и возвращает список репозиториев:

    $ docker ps$ curl -s localhost:8081/service/rest/v1/repositories$ curl localhost:5553/v2/_catalog

Добавление файла конфигурации репозитория

Выполните следующие шаги на каждом узле, предназначенном для кластера.

  1. Получите root-права:

    $ sudo su
  2. Установите переменную с IP-адресом Nexus:

    # export NEXUS_IP="<IP-адрес_NEXUS>"

    Здесь <IP-адрес_NEXUS> — IP-адрес сервера Nexus. Пример: 10.20.0.5.

  3. Удалите все существующие файлы репозиториев:

    # find /etc/yum.repos.d/ -name "*.repo" | xargs -i rm -f {}
  4. Создайте файл vkcloud.repo в директории /etc/yum.repos.d/ со следующим содержимым:

Создание файла hosts.yml

Создайте файл hosts.yml и укажите в нем список узлов и их роли. Выберите конфигурацию: один master-узел или три master-узла. Для мультизонального режима раскомментируйте строки с параметрами labels под каждым IP-адресом узла.

Пример содержимого файла:

---all:   children:      standalone_kube:         vars:            etcd_listen_address: "{{ ansible_facts['default_ipv4']['address'] }}"         children:            standalone_corp_kube:               children:                  standalone_corp_kube_etcd:                     hosts:                        <IP-АДРЕС_УЗЛА_1>:                  standalone_kube_master:                     vars:                        kube_components_log:                           dest: "syslog"                     hosts:                        <IP-АДРЕС_УЗЛА_1>:                  standalone_kube_node:                     hosts:                        <IP-АДРЕС_УЗЛА_1>:   vars:      ansible_user: <ПОЛЬЗОВАТЕЛЬ>      ansible_ssh_private_key_file: <ПУТЬ_К_КЛЮЧУ>

Здесь:

  • <IP-АДРЕС_УЗЛА_1>, <IP-АДРЕС_УЗЛА_2>, <IP-АДРЕС_УЗЛА_3> — IP-адреса узлов, которые войдут в кластер.
  • <ПОЛЬЗОВАТЕЛЬ> — имя пользователя, от лица которого будет выполняться установка (должен иметь права sudo на всех узлах).
  • <ПУТЬ_К_КЛЮЧУ> — путь к приватному SSH-ключу для подключения к узлам.
  • <ЗОНА> — название зоны для развертывания в мультизональном режиме.

Подготовка репозиториев и доверенного сертификата

Выполните команды на деплой-ноде после создания файла hosts.yml. Файлы vkcloud.repo и wildcard.pem должны находиться на деплой-ноде.

  1. Удалите на узлах старые файлы репозиториев:

    $ ansible -b -i hosts.yml -m shell -a 'find /etc/yum.repos.d/ -name "*.repo" | xargs -r -I {} rm -f {}' all
  2. Скопируйте файл vkcloud.repo на узлы кластера:

    $ ansible -b -i hosts.yml -m copy -a 'src=/etc/yum.repos.d/vkcloud.repo dest=/etc/yum.repos.d/vkcloud.repo' all
  3. Скопируйте доверенный сертификат wildcard.pem на узлы кластера и обновите системное хранилище доверия:

    $ ansible -b -i hosts.yml -m copy -a 'src=/etc/pki/ca-trust/source/anchors/wildcard.pem dest=/etc/pki/ca-trust/source/anchors/wildcard.pem' all$ ansible -b -i hosts.yml -m command -a 'update-ca-trust' all
  4. Проверьте, что сертификат скопирован на все узлы:

    $ ansible -b -i hosts.yml -m shell -a 'test -s /etc/pki/ca-trust/source/anchors/wildcard.pem' all

Подготовка файла vars.yml

  1. Создайте файл vars.yml со следующим содержимым:

  2. Отредактируйте значения в зависимости от конфигурации кластера Kubernetes:

    • <IP-адрес_NEXUS> — IP-адрес сервера Nexus. Пример: 10.20.0.5.
    • <ПОДСЕТЬ_СЕРВИСОВ> — адрес подсети для сервисов (ClusterIP). Пример: 172.30.255.0/24.
    • <ПОДСЕТЬ_ПОДОВ> — подсеть для IP-адресов подов. Пример: 10.200.0.0/16.
    • <СЕТЕВОЙ_ИНТЕРФЕЙС> — название сетевого интерфейса для SNAT и kubelet. Пример: ens3. Чтобы узнать точное название интерфейса, используйте команду ip addr.
    • <IP-АДРЕС_DNS-СЕРВЕРА> — IP-адрес корпоративного DNS-сервера.
  3. Если Calico работает в режиме IPIP (calico_ipip: Always или calico_ipip: CrossSubnet) и всем узлам Kubernetes назначена одна группа безопасности:

    1. Создайте в этой группе безопасности правило для входящего IPIP-трафика:

      $ openstack security group rule create \   --ingress \   --ethertype IPv4 \   --protocol 4 \   --remote-group <ID_ГРУППЫ_БЕЗОПАСНОСТИ_УЗЛОВ> \   <ID_ГРУППЫ_БЕЗОПАСНОСТИ_УЗЛОВ>

      Здесь <ID_ГРУППЫ_БЕЗОПАСНОСТИ_УЗЛОВ> — идентификатор группы безопасности, назначенной всем узлам Kubernetes.

    2. Если группа безопасности ограничивает исходящий трафик, создайте в ней правило для исходящего IPIP-трафика:

      $ openstack security group rule create \   --egress \   --ethertype IPv4 \   --protocol 4 \   --remote-group <ID_ГРУППЫ_БЕЗОПАСНОСТИ_УЗЛОВ> \   <ID_ГРУППЫ_БЕЗОПАСНОСТИ_УЗЛОВ>

    Если узлам назначены разные группы безопасности, создайте в каждой группе отдельное правило для входящего IPIP-трафика. В --remote-group укажите идентификатор соответствующей группы источника трафика.

Создание группы томов lvmvg

Для работы с дисками на узлах кластера создайте группу томов lvmvg на каждом узле. Для этого выполните следующие шаги на каждом узле кластера, используя отдельный свободный диск. Пример диска: /dev/vdb:

  1. Определите название дополнительного диска на каждом узле:

    $ lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS
  2. Инициализируйте физический том и создайте группу томов lvmvg:

    $ sudo pvcreate /dev/vdb$ sudo vgcreate lvmvg /dev/vdb

    Если файл hosts.yml содержит все узлы кластера, а дополнительный диск на каждом узле называется /dev/vdb, команды можно выполнить с деплой-ноды:

    $ ansible -b -i hosts.yml -m shell -a 'lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS' all$ ansible -b -i hosts.yml -m shell -a 'pvcreate /dev/vdb' all$ ansible -b -i hosts.yml -m shell -a 'vgcreate lvmvg /dev/vdb' all
  3. Проверьте, что группа томов создана:

    $ sudo pvs$ sudo vgs

    В выводе pvs выбранный диск должен относиться к группе томов lvmvg.

Правки Ansible-шаблонов для настройки DNS

Перед развертыванием кластера Kubernetes внесите изменения в шаблоны и плейбуки для корректной работы сервисов с дополнительными DNS-именами и настройками DNS-кеша.

  1. Перейдите в директорию с дистрибутивом:

    $ cd repos_mcs_distr_${RELEASE_VERSION}
  2. Внесите изменения в файлы:

    1. Откройте файлы:

      • ansible-openstack/roles/kube/cluster/defaults/main.yml,
      • ansible-openstack/roles/kube/preflight/defaults/main.yml.
    2. В параметре kube_apiserver_san_default каждого файла добавьте запись:

      - "DNS:kubernetes.default.svc.cluster.local"
    3. Проверьте, что запись появилась в зависимых файлах:

      • ansible-openstack/roles/kube/cluster/defaults/main.yml,
      • ansible-openstack/roles/kube/preflight/defaults/main.yml.
  3. Перед запуском установки Kubernetes замените шаблоны Calico и разверните Calico CRDs.

    1. Перейдите в директорию с дистрибутивом:

      $ export RELEASE_VERSION=box-26.1-rc-YOU$ cd repos_mcs_distr_${RELEASE_VERSION}
    2. Создайте директорию:

      $ export ANSIBLE_DIR="$HOME/ansible-openstack"$ mkdir -p "${ANSIBLE_DIR}/overrides/calico/3.30.2"
    3. Скопируйте файлы calico-manifest.yaml.j2, calicoctl.j2 и calico-crds.yaml, полученные от администратора VK Private Cloud, в директорию ${ANSIBLE_DIR}/overrides/calico/3.30.2/.

    4. Проверьте, что файлы скопированы:

      $ ls -l "${ANSIBLE_DIR}/overrides/calico/3.30.2/"
    5. Чтобы заменить шаблоны Calico в дистрибутиве и добавить в файл cni.yml задачу для развертывания Calico CRDs, выполните скрипт:

Развертывание кластера Kubernetes

Выполните команду:

$ cd ~$ ansible-playbook -i <ПУТЬ_К_HOSTS> -e @<ПУТЬ_К_VARS> repos_mcs_distr_${RELEASE_VERSION}/ansible-openstack/playbooks/kube.yml -e env=standalone -l standalone_corp_kube -D

Чтобы передать параметры, обязательно используйте в команде символ @ перед путем к файлу vars.

Здесь:

  • <ПУТЬ_К_HOSTS> — путь к файлу hosts.yml.
  • <ПУТЬ_К_VARS> — путь к файлу vars.yml.

После завершения установки обновите системное хранилище доверия на всех узлах Kubernetes, перезапустите containerd и проверьте его состояние:

$ ansible -b -i <ПУТЬ_К_HOSTS> -l standalone_corp_kube -m command -a "update-ca-trust" all$ ansible -b -i <ПУТЬ_К_HOSTS> -l standalone_corp_kube -m systemd -a "name=containerd state=restarted" all$ ansible -b -i <ПУТЬ_К_HOSTS> -l standalone_corp_kube -m command -a "systemctl is-active containerd" all

На одном из узлов выполните контрольную загрузку образа из Nexus:

$ sudo crictl pull <РЕЕСТР>/<ОБРАЗ>:<ТЕГ>

Здесь:

  • <РЕЕСТР> — адрес реестра Docker или Nexus, например 10.20.0.5:5553.
  • <ОБРАЗ> — название образа, который нужно загрузить.
  • <ТЕГ> — тег версии образа.

Команда должна завершиться без ошибки проверки TLS-сертификата. На узлах должны работать поды Kubernetes, а сервис containerd должен иметь состояние active.

Создание пользователя кластера Kubernetes

  1. Подключитесь по SSH к любому из узлов кластера.

  2. Укажите и выполните скрипт для создания пользователя:

    В результате выполнения скрипта будут созданы пользователь adm с ролью cluster-admin и файл adm-kubeconfig.json для подключения к кластеру от имени этого пользователя.

  3. На деплой-ноде создайте директорию для конфигурации Kubernetes:

    $ mkdir -p ~/.kube
  4. Скопируйте содержимое файла adm-kubeconfig.json с узла кластера на деплой-ноду в файл ~/.kube/config.

Была ли статья полезна?