Развертывание кластера Kubernetes из дистрибутива Base Infra
Подготовка кластера Kubernetes с базовой инфраструктурой, необходимой для установки VK Data Platform в составе VK Private Cloud, выполняется с помощью дистрибутива Base Infra на деплой-ноде VK Private Cloud.
Перед развертыванием кластера подготовьте серверы и настройте доступы:
-
Создайте три сервера под master-узлы. Минимальная конфигурация одного master-узла — 32 CPU, 64 ГБ RAM.
-
Подключите к каждому master-узлу два диска:
- Основной диск объемом не менее 250 гибибайт.
- Дополнительный неразмеченный диск объемом не менее 200 гибибайт для создания группы томов LVM (
lvmvg). Имя дополнительного диска зависит от типа подключения и среды виртуализации. Примеры:sdb,vdbилиnvme0n1.
-
Установите утилиту
lvm2на всех узлах кластера. -
Установите утилиту
helmверсии 3 на одном из узлов кластера. -
Выберите подсети сервисов (ClusterIP) и подов так, чтобы они не пересекались с подсетями узлов и другими маршрутизируемыми сетями окружения.
-
Настройте на деплой-ноде VK Private Cloud прямое и обратное разрешение DNS-имен (FQDN) узлов кластера.
-
Добавьте на деплой-ноде VK Private Cloud в список разрешенных портов файервола порты
8081и5553. Входящий трафик на эти порты разрешите только с адресов узлов кластера. -
Добавьте на узлах кластера в список разрешенных портов файервола порты
30080и30443— порты NodePort общего ingress. Входящий трафик на эти порты разрешите только с деплой-ноды VK Data Platform. -
Настройте между узлами кластера беспарольный доступ по SSH.
-
Подключитесь к деплой-ноде VK Private Cloud.
-
Экспортируйте переменную
RELEASE_VERSIONсо значением55416-baseinfra-26-1:$ export RELEASE_VERSION=55416-baseinfra-26-1 -
Распакуйте архивы с артефактами Base Infra:
$ tar -xvf nexus-${RELEASE_VERSION}.tar && \tar -xf repos_mcs_distr_*.tar.gz -
Перейдите в директорию
nexus-box-26.1-rc-YOU:$ cd nexus-box-26.1-rc-YOUЗдесь
box-26.1-rc-YOU— внутреннее имя релиза. Оно не совпадает с именем архиваnexus-55416-baseinfra-26-1.tar. Имя можно проверить командойls -d nexus-*/. -
Распакуйте архив с RPM-пакетами Docker:
$ tar xf docker-rpms.tar.gz -
Установите Docker:
$ sudo dnf install -y ./docker-ce/*.rpm$ sudo systemctl enable --now docker$ sudo systemctl status docker$ sudo usermod -aG docker $USER -
Выйдите из текущей SSH-сессии и повторно авторизуйтесь в системе.
-
Экспортируйте переменную
RELEASE_VERSIONсо значениемbox-26.1-rc-YOU. Значение понадобится для перехода в директорию и для путей к дистрибутиву в следующих разделах:$ export RELEASE_VERSION=box-26.1-rc-YOU -
Перейдите в директорию
nexus-${RELEASE_VERSION}:$ cd nexus-${RELEASE_VERSION} -
Задайте объем оперативной памяти, выделенной для работы Nexus:
$ sed -i 's/--memory="2800m"//g' run_nexus.sh -
Получите root-права:
$ sudo su -
Запустите скрипт развертывания Nexus
run_nexus.sh:# ./run_nexus.sh box-26.1-rc-YOU | tee ~/run_nexus.out -
Выйдите из root-сессии:
# exit -
Проверьте, что Nexus запущен и возвращает список репозиториев:
$ docker ps$ curl -s localhost:8081/service/rest/v1/repositories$ curl localhost:5553/v2/_catalog
Выполните следующие шаги на каждом узле, предназначенном для кластера.
-
Получите root-права:
$ sudo su -
Установите переменную с IP-адресом Nexus:
# export NEXUS_IP="<IP-адрес_NEXUS>"Здесь
<IP-адрес_NEXUS>— IP-адрес сервера Nexus. Пример:10.20.0.5. -
Удалите все существующие файлы репозиториев:
# find /etc/yum.repos.d/ -name "*.repo" | xargs -i rm -f {} -
Создайте файл
vkcloud.repoв директории/etc/yum.repos.d/со следующим содержимым:
-
Создайте файл
hosts.ymlи укажите в нем список узлов и их роли. Для установки VK Data Platform в составе VK Private Cloud используйте конфигурацию с тремя master-узлами. Для мультизонального режима раскомментируйте строки с параметрамиlabelsпод каждым IP-адресом узла.Пример содержимого файла:
---all:children:standalone_kube:vars:etcd_listen_address: "{{ ansible_facts['default_ipv4']['address'] }}"children:standalone_corp_kube:children:standalone_corp_kube_etcd:hosts:<IP-АДРЕС_УЗЛА_1>:<IP-АДРЕС_УЗЛА_2>:<IP-АДРЕС_УЗЛА_3>:standalone_kube_master:vars:kube_components_log:dest: "syslog"hosts:<IP-АДРЕС_УЗЛА_1>:<IP-АДРЕС_УЗЛА_2>:<IP-АДРЕС_УЗЛА_3>:standalone_kube_node:hosts:<IP-АДРЕС_УЗЛА_1>:# Пропишите label зоны для деплоя в мультизональном режиме# labels:# topology.kubernetes.io/zone: <ЗОНА><IP-АДРЕС_УЗЛА_2>:# Пропишите label зоны для деплоя в мультизональном режиме# labels:# topology.kubernetes.io/zone: <ЗОНА><IP-АДРЕС_УЗЛА_3>:# Пропишите label зоны для деплоя в мультизональном режиме# labels:# topology.kubernetes.io/zone: <ЗОНА>vars:ansible_user: <ПОЛЬЗОВАТЕЛЬ>ansible_ssh_private_key_file: <ПУТЬ_К_КЛЮЧУ>Здесь:
<IP-АДРЕС_УЗЛА_1>,<IP-АДРЕС_УЗЛА_2>,<IP-АДРЕС_УЗЛА_3>— IP-адреса узлов, которые войдут в кластер.<ПОЛЬЗОВАТЕЛЬ>— имя пользователя, от лица которого будет выполняться установка (должен иметь праваsudoна всех узлах).<ПУТЬ_К_КЛЮЧУ>— путь к приватному SSH-ключу для подключения к узлам.<ЗОНА>— название зоны для развертывания в мультизональном режиме.
-
Проверьте, что с деплой-ноды доступны все узлы кластера:
$ ansible -i hosts.yml -m ping all
Выполните команды на деплой-ноде VK Private Cloud после создания файла hosts.yml. Файлы vkcloud.repo и wildcard.pem должны находиться на деплой-ноде.
-
Удалите на узлах старые файлы репозиториев:
$ ansible -b -i hosts.yml -m shell -a 'find /etc/yum.repos.d/ -name "*.repo" | xargs -r -I {} rm -f {}' all -
Скопируйте файл
vkcloud.repoна узлы кластера:$ ansible -b -i hosts.yml -m copy -a 'src=/etc/yum.repos.d/vkcloud.repo dest=/etc/yum.repos.d/vkcloud.repo' all -
Скопируйте доверенный сертификат
wildcard.pemна узлы кластера и обновите системное хранилище доверия:$ ansible -b -i hosts.yml -m copy -a 'src=/etc/pki/ca-trust/source/anchors/wildcard.pem dest=/etc/pki/ca-trust/source/anchors/wildcard.pem' all$ ansible -b -i hosts.yml -m command -a 'update-ca-trust' all -
Проверьте, что сертификат скопирован на все узлы:
$ ansible -b -i hosts.yml -m shell -a 'test -s /etc/pki/ca-trust/source/anchors/wildcard.pem' all
-
Создайте файл
vars.ymlсо следующим содержимым: -
Отредактируйте значения в зависимости от конфигурации кластера Kubernetes:
<IP-адрес_NEXUS>— IP-адрес сервера Nexus. Пример:10.20.0.5.<ПОДСЕТЬ_СЕРВИСОВ>— адрес подсети для сервисов (ClusterIP). Пример:172.30.255.0/24.<ПОДСЕТЬ_ПОДОВ>— подсеть для IP-адресов подов. Пример:10.200.0.0/16.<СЕТЕВОЙ_ИНТЕРФЕЙС>— название сетевого интерфейса для SNAT и kubelet. Пример:ens3. Чтобы узнать точное название интерфейса, используйте командуip addr.<IP-АДРЕС_DNS-СЕРВЕРА>— IP-адрес корпоративного DNS-сервера.
-
Если Calico работает в режиме IPIP (
calico_ipip: Alwaysилиcalico_ipip: CrossSubnet) и всем узлам Kubernetes назначена одна группа безопасности:-
Создайте в этой группе безопасности правило для входящего IPIP-трафика:
$ openstack security group rule create \--ingress \--ethertype IPv4 \--protocol 4 \--remote-group <ID_ГРУППЫ_БЕЗОПАСНОСТИ_УЗЛОВ> \<ID_ГРУППЫ_БЕЗОПАСНОСТИ_УЗЛОВ>Здесь <ID_ГРУППЫ_БЕЗОПАСНОСТИ_УЗЛОВ> — идентификатор группы безопасности, назначенной всем узлам Kubernetes.
-
Если группа безопасности ограничивает исходящий трафик, создайте в ней правило для исходящего IPIP-трафика:
$ openstack security group rule create \--egress \--ethertype IPv4 \--protocol 4 \--remote-group <ID_ГРУППЫ_БЕЗОПАСНОСТИ_УЗЛОВ> \<ID_ГРУППЫ_БЕЗОПАСНОСТИ_УЗЛОВ>
Если узлам назначены разные группы безопасности, создайте в каждой группе отдельное правило для входящего IPIP-трафика. В
--remote-groupукажите идентификатор соответствующей группы источника трафика. -
Для работы с дисками на узлах кластера создайте группу томов lvmvg на каждом узле. Для этого выполните следующие шаги на каждом узле кластера, используя отдельный свободный диск. Пример диска: /dev/vdb:
-
Определите название дополнительного диска на каждом узле:
$ lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS -
Инициализируйте физический том и создайте группу томов
lvmvg:$ sudo pvcreate /dev/vdb$ sudo vgcreate lvmvg /dev/vdbЕсли файл
hosts.ymlсодержит все узлы кластера, а дополнительный диск на каждом узле называется/dev/vdb, команды можно выполнить с деплой-ноды:$ ansible -b -i hosts.yml -m shell -a 'lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS' all$ ansible -b -i hosts.yml -m shell -a 'pvcreate /dev/vdb' all$ ansible -b -i hosts.yml -m shell -a 'vgcreate lvmvg /dev/vdb' all -
Проверьте, что группа томов создана:
$ sudo pvs$ sudo vgsВ выводе
pvsвыбранный диск должен относиться к группе томовlvmvg.
Перед развертыванием кластера Kubernetes внесите изменения в шаблоны и плейбуки для корректной работы сервисов с дополнительными DNS-именами и настройками DNS-кеша.
-
Экспортируйте переменную
RELEASE_VERSIONсо значениемbox-26.1-rc-YOU:$ export RELEASE_VERSION=box-26.1-rc-YOU -
Перейдите в директорию с дистрибутивом:
$ cd repos_mcs_distr_${RELEASE_VERSION} -
Внесите изменения в файлы:
-
Откройте файлы:
ansible-openstack/roles/kube/cluster/defaults/main.yml,ansible-openstack/roles/kube/preflight/defaults/main.yml.
-
В параметре
kube_apiserver_san_defaultкаждого файла добавьте запись:- "DNS:kubernetes.default.svc.cluster.local" -
Проверьте, что запись появилась в зависимых файлах:
ansible-openstack/roles/kube/cluster/defaults/main.yml,ansible-openstack/roles/kube/preflight/defaults/main.yml.
-
-
Перед запуском установки Kubernetes замените шаблоны Calico и разверните Calico CRDs.
-
Перейдите в директорию с дистрибутивом:
$ cd repos_mcs_distr_${RELEASE_VERSION} -
Создайте директорию:
$ export ANSIBLE_DIR="$HOME/ansible-openstack"$ mkdir -p "${ANSIBLE_DIR}/overrides/calico/3.30.2" -
Скопируйте файлы
calico-manifest.yaml.j2,calicoctl.j2иcalico-crds.yaml, полученные от администратора VK Private Cloud, в директорию${ANSIBLE_DIR}/overrides/calico/3.30.2/. -
Проверьте, что файлы скопированы:
$ ls -l "${ANSIBLE_DIR}/overrides/calico/3.30.2/" -
Чтобы заменить шаблоны Calico в дистрибутиве и добавить в файл
cni.ymlзадачу для развертывания Calico CRDs, выполните скрипт:
-
-
Выполните команду:
$ cd ~$ ansible-playbook -i <ПУТЬ_К_HOSTS> -e @<ПУТЬ_К_VARS> repos_mcs_distr_${RELEASE_VERSION}/ansible-openstack/playbooks/kube.yml -e env=standalone -l standalone_corp_kube -DЧтобы передать параметры, обязательно используйте в команде символ
@перед путем к файлуvars.Здесь:
<ПУТЬ_К_HOSTS>— путь к файлуhosts.yml.<ПУТЬ_К_VARS>— путь к файлуvars.yml.
-
После завершения установки обновите системное хранилище доверия на всех узлах Kubernetes, перезапустите
containerdи проверьте его состояние:$ ansible -b -i <ПУТЬ_К_HOSTS> -l standalone_corp_kube -m command -a "update-ca-trust" all$ ansible -b -i <ПУТЬ_К_HOSTS> -l standalone_corp_kube -m systemd -a "name=containerd state=restarted" all$ ansible -b -i <ПУТЬ_К_HOSTS> -l standalone_corp_kube -m command -a "systemctl is-active containerd" all -
На одном из узлов выполните контрольную загрузку образа из Nexus:
$ sudo crictl pull <РЕЕСТР>/<ОБРАЗ>:<ТЕГ>Здесь:
<РЕЕСТР>— адрес реестра Docker или Nexus, например10.20.0.5:5553.<ОБРАЗ>— название образа, который нужно загрузить.<ТЕГ>— тег версии образа.
Команда должна завершиться без ошибки проверки TLS-сертификата. На узлах должны работать поды Kubernetes, а сервис
containerdдолжен иметь состояниеactive.
-
Подключитесь по SSH к любому из узлов кластера.
-
Укажите и выполните скрипт для создания пользователя:
В результате выполнения скрипта будут созданы пользователь
admс рольюcluster-adminи файлadm-kubeconfig.jsonдля подключения к кластеру от имени этого пользователя. -
На деплой-ноде создайте директорию для конфигурации Kubernetes:
$ mkdir -p ~/.kube -
Скопируйте содержимое файла
adm-kubeconfig.jsonс узла кластера на деплой-ноду в файл~/.kube/config. -
Скопируйте файл
~/.kube/configна деплой-ноду VK Data Platform, с которой выполняется установка VK Data Platform. Без этого файла инсталлятор не подключится к кластеру на втором шаге. Порядок подключения к этой ноде приведен в разделе Подключение к деплой-ноде VK Data Platform.