Развертывание кластера Kubernetes из дистрибутива Base Infra
Подготовка кластера Kubernetes с базовой инфраструктурой, необходимой для установки VK Data Platform в версиях Standalone и Standalone в составе VK Private Cloud, выполняется с помощью дистрибутива Base Infra.
Перед запуском инсталлятора убедитесь, что выполнены предусловия.
-
Подключитесь к деплой-ноде.
-
Экспортируйте переменную
RELEASE_VERSIONсо значением55416-baseinfra-26-1:$ export RELEASE_VERSION=55416-baseinfra-26-1 -
Распакуйте архив с артефактами Base Infra:
$ tar -xvf nexus-${RELEASE_VERSION}.tar && \tar -xf repos_mcs_distr_*.tar.gz -
Экспортируйте переменную
RELEASE_VERSIONсо значениемbox-26.1-rc-YOU:$ export RELEASE_VERSION=box-26.1-rc-YOU -
Перейдите в директорию
nexus-${RELEASE_VERSION}и распакуйте архив с RPM-пакетами Docker:$ cd nexus-${RELEASE_VERSION} && \tar xf docker-rpms.tar.gz -
Установите Docker:
$ sudo dnf install -y ./docker-ce/*.rpm$ sudo systemctl enable --now docker$ sudo systemctl status docker$ sudo usermod -aG docker $USER -
Выйдите из текущей SSH-сессии и повторно авторизуйтесь в системе.
-
Экспортируйте переменную
RELEASE_VERSIONсо значениемbox-26.1-rc-YOU:$ export RELEASE_VERSION=box-26.1-rc-YOU -
Перейдите в директорию
nexus-${RELEASE_VERSION}:$ cd nexus-${RELEASE_VERSION} -
Задайте объем оперативной памяти, выделенной для работы Nexus:
$ sed -i 's/--memory="2800m"//g' run_nexus.sh -
Получите root-права:
$ sudo su -
Запустите скрипт развертывания Nexus
run_nexus.sh:# ./run_nexus.sh ${RELEASE_VERSION} | tee ~/run_nexus.out -
Выйдите из root-сессии:
# exit -
Проверьте, что Nexus запущен и возвращает список репозиториев:
$ docker ps$ curl -s localhost:8081/service/rest/v1/repositories$ curl localhost:5553/v2/_catalog
Выполните следующие шаги на каждом узле, предназначенном для кластера.
-
Получите root-права:
$ sudo su -
Установите переменную с IP-адресом Nexus:
# export NEXUS_IP="<IP-адрес_NEXUS>"Здесь
<IP-адрес_NEXUS>— IP-адрес сервера Nexus. Пример:10.20.0.5. -
Удалите все существующие файлы репозиториев:
# find /etc/yum.repos.d/ -name "*.repo" | xargs -i rm -f {} -
Создайте файл
vkcloud.repoв директории/etc/yum.repos.d/со следующим содержимым:
Создайте файл hosts.yml и укажите в нем список узлов и их роли. Выберите конфигурацию: один master-узел или три master-узла. Для мультизонального режима раскомментируйте строки с параметрами labels под каждым IP-адресом узла.
Пример содержимого файла:
---all:children:standalone_kube:vars:etcd_listen_address: "{{ ansible_facts['default_ipv4']['address'] }}"children:standalone_corp_kube:children:standalone_corp_kube_etcd:hosts:<IP-АДРЕС_УЗЛА_1>:standalone_kube_master:vars:kube_components_log:dest: "syslog"hosts:<IP-АДРЕС_УЗЛА_1>:standalone_kube_node:hosts:<IP-АДРЕС_УЗЛА_1>:vars:ansible_user: <ПОЛЬЗОВАТЕЛЬ>ansible_ssh_private_key_file: <ПУТЬ_К_КЛЮЧУ>
Здесь:
<IP-АДРЕС_УЗЛА_1>,<IP-АДРЕС_УЗЛА_2>,<IP-АДРЕС_УЗЛА_3>— IP-адреса узлов, которые войдут в кластер.<ПОЛЬЗОВАТЕЛЬ>— имя пользователя, от лица которого будет выполняться установка (должен иметь праваsudoна всех узлах).<ПУТЬ_К_КЛЮЧУ>— путь к приватному SSH-ключу для подключения к узлам.<ЗОНА>— название зоны для развертывания в мультизональном режиме.
Выполните команды на деплой-ноде после создания файла hosts.yml. Файлы vkcloud.repo и wildcard.pem должны находиться на деплой-ноде.
-
Удалите на узлах старые файлы репозиториев:
$ ansible -b -i hosts.yml -m shell -a 'find /etc/yum.repos.d/ -name "*.repo" | xargs -r -I {} rm -f {}' all -
Скопируйте файл
vkcloud.repoна узлы кластера:$ ansible -b -i hosts.yml -m copy -a 'src=/etc/yum.repos.d/vkcloud.repo dest=/etc/yum.repos.d/vkcloud.repo' all -
Скопируйте доверенный сертификат
wildcard.pemна узлы кластера и обновите системное хранилище доверия:$ ansible -b -i hosts.yml -m copy -a 'src=/etc/pki/ca-trust/source/anchors/wildcard.pem dest=/etc/pki/ca-trust/source/anchors/wildcard.pem' all$ ansible -b -i hosts.yml -m command -a 'update-ca-trust' all -
Проверьте, что сертификат скопирован на все узлы:
$ ansible -b -i hosts.yml -m shell -a 'test -s /etc/pki/ca-trust/source/anchors/wildcard.pem' all
-
Создайте файл
vars.ymlсо следующим содержимым: -
Отредактируйте значения в зависимости от конфигурации кластера Kubernetes:
<IP-адрес_NEXUS>— IP-адрес сервера Nexus. Пример:10.20.0.5.<ПОДСЕТЬ_СЕРВИСОВ>— адрес подсети для сервисов (ClusterIP). Пример:172.30.255.0/24.<ПОДСЕТЬ_ПОДОВ>— подсеть для IP-адресов подов. Пример:10.200.0.0/16.<СЕТЕВОЙ_ИНТЕРФЕЙС>— название сетевого интерфейса для SNAT и kubelet. Пример:ens3. Чтобы узнать точное название интерфейса, используйте командуip addr.<IP-АДРЕС_DNS-СЕРВЕРА>— IP-адрес корпоративного DNS-сервера.
-
Если Calico работает в режиме IPIP (
calico_ipip: Alwaysилиcalico_ipip: CrossSubnet) и всем узлам Kubernetes назначена одна группа безопасности:-
Создайте в этой группе безопасности правило для входящего IPIP-трафика:
$ openstack security group rule create \--ingress \--ethertype IPv4 \--protocol 4 \--remote-group <ID_ГРУППЫ_БЕЗОПАСНОСТИ_УЗЛОВ> \<ID_ГРУППЫ_БЕЗОПАСНОСТИ_УЗЛОВ>Здесь <ID_ГРУППЫ_БЕЗОПАСНОСТИ_УЗЛОВ> — идентификатор группы безопасности, назначенной всем узлам Kubernetes.
-
Если группа безопасности ограничивает исходящий трафик, создайте в ней правило для исходящего IPIP-трафика:
$ openstack security group rule create \--egress \--ethertype IPv4 \--protocol 4 \--remote-group <ID_ГРУППЫ_БЕЗОПАСНОСТИ_УЗЛОВ> \<ID_ГРУППЫ_БЕЗОПАСНОСТИ_УЗЛОВ>
Если узлам назначены разные группы безопасности, создайте в каждой группе отдельное правило для входящего IPIP-трафика. В
--remote-groupукажите идентификатор соответствующей группы источника трафика. -
Для работы с дисками на узлах кластера создайте группу томов lvmvg на каждом узле. Для этого выполните следующие шаги на каждом узле кластера, используя отдельный свободный диск. Пример диска: /dev/vdb:
-
Определите название дополнительного диска на каждом узле:
$ lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS -
Инициализируйте физический том и создайте группу томов
lvmvg:$ sudo pvcreate /dev/vdb$ sudo vgcreate lvmvg /dev/vdbЕсли файл
hosts.ymlсодержит все узлы кластера, а дополнительный диск на каждом узле называется/dev/vdb, команды можно выполнить с деплой-ноды:$ ansible -b -i hosts.yml -m shell -a 'lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS' all$ ansible -b -i hosts.yml -m shell -a 'pvcreate /dev/vdb' all$ ansible -b -i hosts.yml -m shell -a 'vgcreate lvmvg /dev/vdb' all -
Проверьте, что группа томов создана:
$ sudo pvs$ sudo vgsВ выводе
pvsвыбранный диск должен относиться к группе томовlvmvg.
Перед развертыванием кластера Kubernetes внесите изменения в шаблоны и плейбуки для корректной работы сервисов с дополнительными DNS-именами и настройками DNS-кеша.
-
Перейдите в директорию с дистрибутивом:
$ cd repos_mcs_distr_${RELEASE_VERSION} -
Внесите изменения в файлы:
-
Откройте файлы:
ansible-openstack/roles/kube/cluster/defaults/main.yml,ansible-openstack/roles/kube/preflight/defaults/main.yml.
-
В параметре
kube_apiserver_san_defaultкаждого файла добавьте запись:- "DNS:kubernetes.default.svc.cluster.local" -
Проверьте, что запись появилась в зависимых файлах:
ansible-openstack/roles/kube/cluster/defaults/main.yml,ansible-openstack/roles/kube/preflight/defaults/main.yml.
-
-
Перед запуском установки Kubernetes замените шаблоны Calico и разверните Calico CRDs.
-
Перейдите в директорию с дистрибутивом:
$ export RELEASE_VERSION=box-26.1-rc-YOU$ cd repos_mcs_distr_${RELEASE_VERSION} -
Создайте директорию:
$ export ANSIBLE_DIR="$HOME/ansible-openstack"$ mkdir -p "${ANSIBLE_DIR}/overrides/calico/3.30.2" -
Скопируйте файлы
calico-manifest.yaml.j2,calicoctl.j2иcalico-crds.yaml, полученные от администратора VK Private Cloud, в директорию${ANSIBLE_DIR}/overrides/calico/3.30.2/. -
Проверьте, что файлы скопированы:
$ ls -l "${ANSIBLE_DIR}/overrides/calico/3.30.2/" -
Чтобы заменить шаблоны Calico в дистрибутиве и добавить в файл
cni.ymlзадачу для развертывания Calico CRDs, выполните скрипт:
-
Выполните команду:
$ cd ~$ ansible-playbook -i <ПУТЬ_К_HOSTS> -e @<ПУТЬ_К_VARS> repos_mcs_distr_${RELEASE_VERSION}/ansible-openstack/playbooks/kube.yml -e env=standalone -l standalone_corp_kube -D
Чтобы передать параметры, обязательно используйте в команде символ @ перед путем к файлу vars.
Здесь:
<ПУТЬ_К_HOSTS>— путь к файлуhosts.yml.<ПУТЬ_К_VARS>— путь к файлуvars.yml.
После завершения установки обновите системное хранилище доверия на всех узлах Kubernetes, перезапустите containerd и проверьте его состояние:
$ ansible -b -i <ПУТЬ_К_HOSTS> -l standalone_corp_kube -m command -a "update-ca-trust" all$ ansible -b -i <ПУТЬ_К_HOSTS> -l standalone_corp_kube -m systemd -a "name=containerd state=restarted" all$ ansible -b -i <ПУТЬ_К_HOSTS> -l standalone_corp_kube -m command -a "systemctl is-active containerd" all
На одном из узлов выполните контрольную загрузку образа из Nexus:
$ sudo crictl pull <РЕЕСТР>/<ОБРАЗ>:<ТЕГ>
Здесь:
<РЕЕСТР>— адрес реестра Docker или Nexus, например10.20.0.5:5553.<ОБРАЗ>— название образа, который нужно загрузить.<ТЕГ>— тег версии образа.
Команда должна завершиться без ошибки проверки TLS-сертификата. На узлах должны работать поды Kubernetes, а сервис containerd должен иметь состояние active.
-
Подключитесь по SSH к любому из узлов кластера.
-
Укажите и выполните скрипт для создания пользователя:
В результате выполнения скрипта будут созданы пользователь
admс рольюcluster-adminи файлadm-kubeconfig.jsonдля подключения к кластеру от имени этого пользователя. -
На деплой-ноде создайте директорию для конфигурации Kubernetes:
$ mkdir -p ~/.kube -
Скопируйте содержимое файла
adm-kubeconfig.jsonс узла кластера на деплой-ноду в файл~/.kube/config.