Установка мультикластера

Назначение и ограничения

Мультикластер — это два независимых трёхузловых кластера Закрома.Хранение и ZDS, которые обмениваются данными через асинхронную репликацию. Каждый кластер использует собственные inventory, group_vars, PostgreSQL и Kafka; кластеры устанавливаются последовательно и независимо друг от друга.

Инструкция самодостаточна: установка каждого кластера описана полностью. Общие принципы подготовки узлов, DNS, TLS и PostgreSQL совпадают с базовым кластером; требования к инфраструктуре приведены в Подготовке к установке.

Ограничения отказоустойчивости

В примере каждый кластер использует один внешний PostgreSQL, который остаётся единой точкой отказа. Для продуктивной инсталляции необходим отказоустойчивый кластер PostgreSQL, а ресурсы для узлов рекомендуется рассчитать совместно с технической поддержкой.

Устанавливаемые компоненты

Схема установки

Два независимых трёхузловых кластера используют отдельные серверы PostgreSQL и Kafka и обмениваются данными через асинхронную репликацию. Внешний балансировщик направляет клиентские подключения к нужному кластеру и не устанавливается Ansible-ролями из этой инструкции.

Обозначения Server1–Server10 условные. Используйте имена узлов из таблицы и inventory соответствующего кластера в каталоге inventories/multicluster.

Шаги установки двух кластеров совпадают; различаются только inventory, имена узлов и переменные, перечисленные в таблице:

Установка

1. Получить и распаковать архив

Copy
1tar -xvzf zakroma-roles-<ВЕРСИЯ_РЕЛИЗА_АРХИВА_С_ANSIBLE_РОЛЯМИ>.tar.gz

1.1. Перейти в директорию с ролями

Copy
1cd zakroma-roles-<ВЕРСИЯ_РЕЛИЗА_АРХИВА_С_ANSIBLE_РОЛЯМИ>

---

2. Установка первого кластера

2.1 Создать inventory, включающий имена серверов в соответствующих хост-группах

Как пример можно использовать файл inventories/multicluster/cluster-1/hosts

Copy
1[certificates]  
2loran-10 ansible_host=10.128.0.10  
3loran-11 ansible_host=10.128.0.11  
4loran-12 ansible_host=10.128.0.12  
5  
6  
7[zakroma-storage]  
8loran-10 ansible_host=10.128.0.10  
9loran-11 ansible_host=10.128.0.11  
10loran-12 ansible_host=10.128.0.12  
11  
12[zakroma-zds-v2-ec]  
13loran-10 ansible_host=10.128.0.10 zakroma_zds_node_name=loran-10  
14loran-11 ansible_host=10.128.0.11 zakroma_zds_node_name=loran-11  
15loran-12 ansible_host=10.128.0.12 zakroma_zds_node_name=loran-12

Проверьте SSH-доступ и выполнение Python-модулей Ansible:

Copy
1ANSIBLE_CONFIG=ansible.cfg ansible -m ping -i inventories/multicluster/cluster-1/hosts all

Ожидаемый результат: каждый узел отвечает SUCCESS и pong. Для проверки текущего ansible_hostname на узлах выполните:

Copy
1ANSIBLE_CONFIG=ansible.cfg ansible -m setup -i inventories/multicluster/cluster-1/hosts all | grep ansible_hostname

2.2. Копирование сертификатов на целевые хосты с помощью роли certificates

• Необходимо отредактировать файл переменных inventories/multicluster/cluster-1/group_vars/certificates.yml роли certificates для группы хостов certificates

Copy
1---
2# Задаёт путь к каталогу, откуда копируются сертификаты и ключи.
3certificates_copy_source_path: "files"
4
5# Содержит информацию о каждом хосте, на который нужно скопировать сертификаты и ключи.
Развернуть

• Запустить playbook:

Copy
1ANSIBLE_CONFIG=ansible.cfg ansible-playbook -i inventories/multicluster/cluster-1/hosts playbooks/sample-play-copy-certificates.yml

2.3. Установка Zakroma Storage c помощью роли zakroma-storage

• Подготовить файл с лицензией licence, положить его в директорию ./files/zakroma-licence и запустить playbook playbooks/sample-play-copy-licence-file.yml для группы хостов zakroma-storage

• Далее необходимо отредактировать файл переменных inventories/multicluster/cluster-1/group_vars/zakroma-storage.yml роли zakroma-storage для группы хостов zakroma-storage

Copy
1---
2# ---------------------------------------------------ОБЩИЕ НАСТРОЙКИ---------------------------------------------------
3# Выполнить удаление Zakroma и ничего больше
4zakroma_storage_delete_only: false
Развернуть

• Перед установкой выполнить preflight-проверку Закрома.Хранение:

Copy
1ANSIBLE_CONFIG=ansible.cfg ansible-playbook -i inventories/multicluster/cluster-1/hosts playbooks/sample-play-zakroma-storage-preflight.yml

Продолжайте установку только после успешного выполнения: в PLAY RECAP для всех узлов должны быть unreachable=0 и failed=0.

• Запустить playbook:

Copy
1ANSIBLE_CONFIG=ansible.cfg ansible-playbook -i inventories/multicluster/cluster-1/hosts playbooks/sample-play-zakroma-storage.yml

После установки на каждом узле первого кластера проверьте сервисы Закрома.Хранение:

Copy
1sudo systemctl status --no-pager --full \
2  zakroma-storage-monolith.service \
3  zakroma-storage-gateway.service

Для обоих сервисов должно быть указано состояние Active: active (running) и время работы с момента запуска.

2.4. Опциональная настройка Nginx

Nginx не является обязательным компонентом установки. Для legacy-инсталляций используйте отдельную инструкцию: Настройка Nginx.

2.5. Установка Zakroma ZDS в режиме EC (Erasure coding, минимум 3 хоста) (нижний слой хранения) с помощью роли zakroma-zds-v2

Перед установкой рекомендуем ознакомиться с архитектурой ZDS: Что такое ZDS и Как ZDS хранит данные.

• Необходимо отредактировать файл переменных inventories/multicluster/cluster-1/group_vars/zakroma-zds-v2-ec.yml роли zakroma-zds-v2 для группы хостов zakroma-zds-v2-ec

Copy
1# Выполнить удаление бинарного файла - удаляет только бинарный файл в дирректории /opt/zakroma/zakroma-ds-agent
2zakroma_zds_delete_binary: false
3
4# Выполнить только рестарт сервисов и ничего больше
5zakroma_zds_restart_services_only: false
Развернуть

• Перед установкой выполнить preflight-проверку ZDS:

Copy
1ANSIBLE_CONFIG=ansible.cfg ansible-playbook -i inventories/multicluster/cluster-1/hosts playbooks/sample-play-zakroma-zdsv2-preflight.yml

Продолжайте установку только после успешного выполнения: в PLAY RECAP для всех узлов должны быть unreachable=0 и failed=0.

• Запустить playbook:

Copy
1ANSIBLE_CONFIG=ansible.cfg ansible-playbook -i inventories/multicluster/cluster-1/hosts playbooks/sample-play-zakroma-zds-v2-ec.yml

После установки на каждом узле первого кластера проверьте сервис ZDS:

Copy
1sleep 5
2sudo systemctl status --no-pager --full zakroma-ds-agent.service

Ожидаемое состояние — Active: active (running) с указанием времени работы сервиса.

---

3. Установка второго кластера

3.1 Создать inventory, включающий имена серверов в соответствующих хост-группах

Как пример можно использовать файл inventories/multicluster/cluster-2/hosts

Copy
1[certificates]  
2loran-20 ansible_host=10.129.0.20  
3loran-21 ansible_host=10.129.0.21  
4loran-22 ansible_host=10.129.0.22  
5  
6  
7[zakroma-storage]  
8loran-20 ansible_host=10.129.0.20  
9loran-21 ansible_host=10.129.0.21  
10loran-22 ansible_host=10.129.0.22  
11  
12[zakroma-zds-v2-ec]  
13loran-20 ansible_host=10.129.0.20 zakroma_zds_node_name=loran-20  
14loran-21 ansible_host=10.129.0.21 zakroma_zds_node_name=loran-21  
15loran-22 ansible_host=10.129.0.22 zakroma_zds_node_name=loran-22

Проверьте SSH-доступ и выполнение Python-модулей Ansible:

Copy
1ANSIBLE_CONFIG=ansible.cfg ansible -m ping -i inventories/multicluster/cluster-2/hosts all

Ожидаемый результат: каждый узел отвечает SUCCESS и pong. Для проверки текущего ansible_hostname на узлах выполните:

Copy
1ANSIBLE_CONFIG=ansible.cfg ansible -m setup -i inventories/multicluster/cluster-2/hosts all | grep ansible_hostname

3.2. Копирование сертификатов на целевые хосты с помощью роли certificates

• Необходимо отредактировать файл переменных inventories/multicluster/cluster-2/group_vars/certificates.yml роли certificates для группы хостов certificates

Copy
1---
2# Задаёт путь к каталогу, откуда копируются сертификаты и ключи.
3certificates_copy_source_path: "files"
4
5# Содержит информацию о каждом хосте, на который нужно скопировать сертификаты и ключи.
Развернуть

• Запустить playbook:

Copy
1ANSIBLE_CONFIG=ansible.cfg ansible-playbook -i inventories/multicluster/cluster-2/hosts playbooks/sample-play-copy-certificates.yml

3.3. Установка Zakroma Storage c помощью роли zakroma-storage

• Подготовить файл с лицензией licence, положить его в директорию ./files/zakroma-licence и запустить playbook playbooks/sample-play-copy-licence-file.yml для группы хостов zakroma-storage

• Далее необходимо отредактировать файл переменных inventories/multicluster/cluster-2/group_vars/zakroma-storage.yml роли zakroma-storage для группы хостов zakroma-storage

Copy
1---
2# ---------------------------------------------------ОБЩИЕ НАСТРОЙКИ---------------------------------------------------
3# Выполнить удаление Zakroma и ничего больше
4zakroma_storage_delete_only: false
Развернуть

• Перед установкой выполнить preflight-проверку Закрома.Хранение:

Copy
1ANSIBLE_CONFIG=ansible.cfg ansible-playbook -i inventories/multicluster/cluster-2/hosts playbooks/sample-play-zakroma-storage-preflight.yml

Продолжайте установку только после успешного выполнения: в PLAY RECAP для всех узлов должны быть unreachable=0 и failed=0.

• Запустить playbook:

Copy
1ANSIBLE_CONFIG=ansible.cfg ansible-playbook -i inventories/multicluster/cluster-2/hosts playbooks/sample-play-zakroma-storage.yml

После установки на каждом узле второго кластера проверьте сервисы Закрома.Хранение:

Copy
1sleep 5
2sudo systemctl status --no-pager --full \
3  zakroma-storage-monolith.service \
4  zakroma-storage-gateway.service

Для обоих сервисов должно быть указано состояние Active: active (running) и время работы с момента запуска.

3.4. Опциональная настройка Nginx

Nginx не является обязательным компонентом установки. Для legacy-инсталляций используйте отдельную инструкцию: Настройка Nginx.

3.5. Установка Zakroma ZDS в режиме EC (Erasure coding, минимум 3 хоста) (нижний слой хранения) с помощью роли zakroma-zds-v2

Перед установкой рекомендуем ознакомиться с архитектурой ZDS: Что такое ZDS и Как ZDS хранит данные.

• Необходимо отредактировать файл переменных inventories/multicluster/cluster-2/group_vars/zakroma-zds-v2-ec.yml роли zakroma-zds-v2 для группы хостов zakroma-zds-v2-ec

Copy
1# Выполнить удаление бинарного файла - удаляет только бинарный файл в дирректории /opt/zakroma/zakroma-ds-agent
2zakroma_zds_delete_binary: false
3
4# Выполнить только рестарт сервисов и ничего больше
5zakroma_zds_restart_services_only: false
Развернуть

• Перед установкой выполнить preflight-проверку ZDS:

Copy
1ANSIBLE_CONFIG=ansible.cfg ansible-playbook -i inventories/multicluster/cluster-2/hosts playbooks/sample-play-zakroma-zdsv2-preflight.yml

Продолжайте установку только после успешного выполнения: в PLAY RECAP для всех узлов должны быть unreachable=0 и failed=0.

• Запустить playbook:

Copy
1ANSIBLE_CONFIG=ansible.cfg ansible-playbook -i inventories/multicluster/cluster-2/hosts playbooks/sample-play-zakroma-zds-v2-ec.yml

После установки на каждом узле второго кластера проверьте сервис ZDS:

Copy
1sleep 5
2sudo systemctl status --no-pager --full zakroma-ds-agent.service

Ожидаемое состояние — Active: active (running) с указанием времени работы сервиса.

Проверка готовности

Кластеры проверяются независимо. Для каждого кластера убедитесь, что:

• preflight- и установочные плейбуки завершились без failed и unreachable;
• на каждом узле сервисы zakroma-storage-monolith.service, zakroma-storage-gateway.service и zakroma-ds-agent.service находятся в состояниях active и enabled;
• PostgreSQL кластера доступен со всех его узлов Закрома.Хранение;
• Admin UI кластера открывается по настроенному FQDN;
• кластер ZDS подключён в Admin UI по адресам из вывода Ansible после установки сервиса ZDS;
• функциональная проверка S3 проходит для каждого кластера — используйте тест из базовой инструкции.

Подробная проверка сервисов приведена в Проверке статуса сервисов.