Описание типовой установки в 1 кластере

Установка базового кластера

Бинарные пакеты

## 1. Отключение SELinux

Убедитесь, что **SELinux** отключён.
На операционных системах ALT Server, RedOs, AlmaLinux и RHEL необходимо отключить SELinux.
Чтобы отключить SELinux:
Проверьте текущее состояние SELinux. Для этого выполните команду:

```bash  
sestatus
```  
Проверьте параметр SELinux status.
Если параметр имеет значение disabled, дальнейшие действия не требуются.
Откройте на редактирование файл /etc/selinux/config и измените значение параметра SELINUX на disabled.
Перезагрузите операционную систему.
Повторно проверьте состояние SELinux. Для этого выполните команду:
```bash  
sestatus
```  
Параметр SELinux status должен иметь значение disabled.
SELinux будет отключен.

## 2. Проверка и настройка DNS

1. Убедитесь, что все серверы могут правильно разрешать доменные имена (через DNS или `/etc/hosts`).
2. Создайте соответствующие **DNS A-записи**, указывающие на IP-адреса хостов, где будут развернуты сервисы:

Для **базового кластера** и **Single Node**:
```  
*.ps.zakroma.local            → хост(ы) с Zakroma-Storage (для обращения к S3 по path-style)  
zakroma-gateway.zakroma.local → хост(ы) с Zakroma-Storage  
zakroma-admin.zakroma.local   → хост(ы) с Zakroma-Storage  
keycloak.zakroma.local        → хост(ы) с Keycloak  
kafka.zakroma.local           → хост(ы) с Kafka (опционально)
kafka-ui.zakroma.local        → хост(ы) с Kafka-ui (опционально)
```  

Для **мультикластера**:
```   
*.ps.cluster-1.zakroma.local            → хост(ы) с Zakroma-Storage (для обращения к S3 по path-style)  
zakroma-gateway.cluster-1.zakroma.local → хост(ы) с Zakroma-Storage  
zakroma-admin.cluster-1.zakroma.local   → хост(ы) с Zakroma-Storage  
zakroma-cdn.cluster-1.zakroma.local     → хост(ы) с Zakroma-Storage  
keycloak.cluster-1.zakroma.local        → хост(ы) с Keycloak  
kafka-1.cluster-1.zakroma.local         → хост(ы) с Kafka
kafka-ui.cluster-1.zakroma.local        → хост(ы) с Kafka-ui
  
*.ps.cluster-2.zakroma.local            → хост(ы) с Zakroma-Storage (для обращения к S3 по path-style)  
zakroma-gateway.cluster-2.zakroma.local → хост(ы) с Zakroma-Storage  
zakroma-admin.cluster-2.zakroma.local   → хост(ы) с Zakroma-Storage  
zakroma-cdn.cluster-2.zakroma.local     → хост(ы) с Zakroma-Storage  
keycloak.cluster-2.zakroma.local        → хост(ы) с Keycloak
kafka-1.cluster-2.zakroma.local         → хост(ы) с Kafka
kafka-ui.cluster-2.zakroma.local        → хост(ы) с Kafka-ui
```  

В инструкции используется **пример домена** `zakroma.local`.    
Вы можете заменить его на собственную доменную зону, соответствующую вашей инфраструктуре (например, `zakroma.company.com` или `zakroma.internal`).
## 3. Подготовка сертификатов (TLS/SSL)

Сгенерируйте и/или получите сертификаты для следующих доменных имен:

Для **базового кластера**:
```  
*.ps.zakroma.local  
zakroma-gateway.zakroma.local  
zakroma-admin.zakroma.local  
keycloak.zakroma.local
kafka-ui.zakroma.local (опционально)
```  

Для **мультикластера**:
```   
*.ps.cluster-1.zakroma.local  
zakroma-gateway.cluster-1.zakroma.local  
zakroma-admin.cluster-1.zakroma.local  
zakroma-cdn.cluster-1.zakroma.local  
keycloak.cluster-1.zakroma.local
kafka-ui.cluster-1.zakroma.local
  
*.ps.cluster-2.zakroma.local  
zakroma-gateway.cluster-2.zakroma.local  
zakroma-admin.cluster-2.zakroma.local  
zakroma-cdn.cluster-2.zakroma.local  
keycloak.cluster-2.zakroma.local
kafka-ui.cluster-2.zakroma.local
```  

Эти сертификаты будут использоваться для безопасного доступа к Zakroma и Keycloak по HTTPS.

## 4. Подготовка для работы с Ansible

1. Проверьте, что доступно **SSH-подключение** к каждому хосту.
2. Убедитесь, что пользователь имеет привилегированный (sudo) доступ.
3. Установите или обновите **Ansible** до версии **2.15.0** или выше.

## 5. Настройка PostgreSQL

Настройте PostgreSQL согласно [официальной инструкции](https://zakroma.ru/knowledgeBase/devops/article/nastrojka-postgre-sql?version=%D0%97%D0%B0%D0%BA%D1%80%D0%BE%D0%BC%D0%B0.%D0%A5%D1%80%D0%B0%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5).

## 6. Подготовка дисков и точек монтирования для Zakroma-ZDS

1. Подготовьте дисковое пространство (например, используйте LVM или отдельные разделы).
2. Смонтируйте разделы на серверах, где будет использоваться Zakroma-ZDS.
3. Добавьте точки монтирования в `/etc/fstab`, используя **UUID**.
4. Рекомендуемые параметры:
   - Файловая система: **XFS**.
   - Использование групп томов (**Volume Groups**) для большей гибкости управления.

---  
После выполнения всех перечисленных шагов ваше окружение будет готово к установке Zakroma и сопутствующих сервисов.  
Дальнейшие инструкции по установке в отдельных инструкция выбранного типа инсталляции: [Single Node](https://zakroma.ru/knowledgeBase/storage/article/ustanovka-single-node?version=2.5), [Базового кластера](https://zakroma.ru/knowledgeBase/storage/article/ustanovka-bazovogo-klastera?version=2.5) и [Мультикластера](https://zakroma.ru/knowledgeBase/storage/article/ustanovka-varianta-s-multiklasterom?version=2.5).

Подготовка окружения к установке

Установка варианта с мультикластером

## Компоненты системы ЗАКРОМА.Хранение

| Компонент           | Описание                                                                                                                       |
| ------------------- | ------------------------------------------------------------------------------------------------------------------------------ |
| Zakroma-Storage     | Управляющий слой, обеспечивающий S3-протокол.                                                                                  |
| Zakroma-ZDS         | Нижний слой хранения (минимальное требование — 3 узла в режиме Erasure Coding, 1 узел - в режиме без избыточного кодирования). |
| Keycloak            | Система управления аутентификацией и авторизацией (используется для Admin UI и доступа к Zakroma).                             |
| Nginx               | Proxy-сервер, выступающий в качестве фронтенда для Zakroma-Storage.                                                            |
| PostgreSQL          | СУБД для метаданных Zakroma-Storage и Keycloak.                                                                                |
| Kafka (опционально) | Система обмена сообщениями, используемая сервисами Zakroma (требуется для различных служебных операций, опционально).          |
## Компоненты, устанавливаемые с помощью Ansible ролей
| Название        |                                                Поддерживаемые версии                                                 |
| --------------- | :------------------------------------------------------------------------------------------------------------------: |
| Zakroma-Storage |                                                        2.5.0                                                         |
| Zakroma-ZDS     |                                                        1.5.1                                                         |
| Keycloak        |                                                          22                                                          |
| Nginx           | в зависимости от дистрибутива Linux  <br>(устанавливается из стандартных репозиториев хостовой операционной системы) |
| Kafka           |                                                        3.8.1                                                         |
| Kafka-UI        |                                                        0.7.2                                                         |

## Версии Ansible ролей

| Название        | Задачи роли                                             | Версия |
| --------------- | ------------------------------------------------------- | :----: |
| zakroma-storage | Установка и конфигурирование компонента Zakroma-Storage | 6.3.0  |
| zakroma-zds     | Установка и конфигурирование компонента Zakroma-ZDS     | 5.2.0  |
| keycloak        | Установка и конфигурирование компонента Keycloak        | 6.1.0  |
| nginx           | Установка и конфигурирование компонента Nginx           | 1.1.0  |
| certificates    | Копирование сертификатов (TLS/SSL) на целевые хосты     | 1.0.0  |
| kafka           | Установка и конфигурирование Kafka                      | 2.0.0  |
| kafka-ui        | Установка и конфигурирование Kafka-UI                   | 1.0.0  |

## Поддерживаемые дистрибутивы Linux

| Название   | Поддерживаемые версии |
| ---------- | --------------------- |
| Debian     | 10, 11, 12            |
| Ubuntu     | 20, 22, 24            |
| AlmaLinux  | 8, 9                  |
| RedOs      | 7, 8                  |
| RHEL       | 8, 9                  |
| ALT Server | 10.4                  |

## Варианты развертывания

> [!info] Примечание
>Количество серверов каждого компонента  может меняться в зависимости от требуемого объёма хранения, уровня отказоустойчивости и производительности.
>Также возможно объединять или совмещать некоторые из компонентов на меньшем количестве машин, например, для тестовых стендов или не очень нагруженных систем.

### Демо-стенд (Single-Node Deployment)

- Предназначен для демонстрации возможностей платформы Zakroma и её компонентов.
- Идеально подходит для ознакомления с функциональностью системы и внутренних тестов.
- Разворачивается на одном сервере, что упрощает настройку и сокращает требования к инфраструктуре.

| Сервер    | Компоненты                                                                              |
| --------- | --------------------------------------------------------------------------------------- |
| `Server1` | Zakroma-Storage, Zakroma-ZDS, Nginx,Keycloak,PostgreSQL, Kafka и Kafka-UI (опционально) |


> [!info] Установка
>Как установить этот вариант читайте [здесь](https://zakroma.ru/knowledgeBase/storage/article/ustanovka-single-node?version=2.5).

### Базовый кластер

- Подходит для тестовых окружений или производственных систем небольшого масштаба.

| Сервер    | Компоненты                                               |
| --------- | -------------------------------------------------------- |
| `Server1` | PostgreSQL                                               |
| `Server2` | Keycloak                                                 |
| `Server3` | Zakroma-Storage, Zakroma-ZDS (Erasure Coding 2+1), Nginx |
| `Server4` | Zakroma-Storage, Zakroma-ZDS (Erasure Coding 2+1), Nginx |
| `Server5` | Zakroma-Storage, Zakroma-ZDS (Erasure Coding 2+1), Nginx |
| `Server6` | Kafka и Kafka-UI (опционально)                           |
### Базовый кластер (Zakroma-ZDS в режиме Erasure Coding вынесен на отдельные сервера)

| Сервер    | Компоненты                       |
| :-------- | -------------------------------- |
| `Server1` | PostgreSQL                       |
| `Server2` | Keycloak                         |
| `Server3` | Zakroma-ZDS (Erasure Coding 2+1) |
| `Server4` | Zakroma-ZDS (Erasure Coding 2+1) |
| `Server5` | Zakroma-ZDS (Erasure Coding 2+1) |
| `Server6` | Zakroma-Storage, Nginx           |
| `Server7` | Kafka и Kafka-UI (опционально)   |

> [!info] Установка
>Как установить эти варианты читайте [здесь](https://zakroma.ru/knowledgeBase/storage/article/ustanovka-bazovogo-klastera?version=2.5).

### Мультикластер

- Несколько независимых кластеров
- Позволяет организовать распределённое хранение, георезервирование и масштабирование на уровне нескольких кластеров.
- Рекомендован при необходимости высокой доступности и геораспределения (например, кластеры в разных ЦОД).

| Сервер     | Компоненты                                               | Cluster |
| ---------- | -------------------------------------------------------- | :-----: |
| `Server1`  | PostgreSQL                                               |    1    |
| `Server2`  | Keycloak                                                 |    1    |
| `Server3`  | Zakroma-Storage, Nginx, Zakroma-ZDS (Erasure Coding 2+1) |    1    |
| `Server4`  | Zakroma-Storage, Nginx, Zakroma-ZDS (Erasure Coding 2+1) |    1    |
| `Server5`  | Zakroma-Storage, Nginx, Zakroma-ZDS (Erasure Coding 2+1) |    1    |
| `Server6`  | Kafka и Kafka-UI                                         |    1    |
| `Server7`  | PostgreSQL                                               |    2    |
| `Server8`  | Keycloak                                                 |    2    |
| `Server9`  | Zakroma-Storage, Nginx, Zakroma-ZDS (Erasure Coding 2+1) |    2    |
| `Server10` | Zakroma-Storage, Nginx, Zakroma-ZDS (Erasure Coding 2+1) |    2    |
| `Server11` | Zakroma-Storage, Nginx, Zakroma-ZDS (Erasure Coding 2+1) |    2    |
| `Server12` | Kafka и Kafka-UI                                         |    2    |

> [!info] Установка
>Как установить эти варианты читайте [здесь](https://zakroma.ru/knowledgeBase/storage/article/ustanovka-varianta-s-multiklasterom?version=2.5).


Дистрибутив поставляется архивом вида `zakroma-roles-<ВЕРСИЯ_РЕЛИЗА_АРХИВА_С_ANSIBLE_РОЛЯМИ>.tar.gz`
## Структура  дистрибутива

```yaml  
.
├── ansible.cfg
├── CHANGELOG.md
├── collections
│   └── ansible_collections
├── docs
│   ├── README.base-cluster.md
│   ├── README.multicluster.md
│   ├── README.prepare.md
│   └── README.single-node.md
├── files
│   └── realm.json
├── inventories
│   ├── base-cluster
│   │   ├── group_vars
│   │   │   ├── certificates.yml
│   │   │   ├── java.yml
│   │   │   ├── kafka-ui-nginx.yml
│   │   │   ├── kafka-ui.yml
│   │   │   ├── kafka.yml
│   │   │   ├── keycloak.yml
│   │   │   ├── zakroma-storage-nginx.yml
│   │   │   ├── zakroma-storage.yml
│   │   │   └── zakroma-zds-ec.yml
│   │   └── hosts
│   ├── multicluster
│   │   ├── cluster-1
│   │   │   ├── group_vars
│   │   │   │   ├── certificates.yml
│   │   │   │   ├── java.yml
│   │   │   │   ├── kafka-ui-nginx.yml
│   │   │   │   ├── kafka-ui.yml
│   │   │   │   ├── kafka.yml
│   │   │   │   ├── keycloak.yml
│   │   │   │   ├── zakroma-storage-nginx.yml
│   │   │   │   ├── zakroma-storage.yml
│   │   │   │   └── zakroma-zds-ec.yml
│   │   │   └── hosts
│   │   └── cluster-2
│   │       ├── group_vars
│   │       │   ├── certificates.yml
│   │       │   ├── java.yml
│   │       │   ├── kafka-ui-nginx.yml
│   │       │   ├── kafka-ui.yml
│   │       │   ├── kafka.yml
│   │       │   ├── keycloak.yml
│   │       │   ├── zakroma-storage-nginx.yml
│   │       │   ├── zakroma-storage.yml
│   │       │   └── zakroma-zds-ec.yml
│   │       └── hosts
│   └── single-node
│       ├── group_vars
│       │   ├── certificates.yml
│       │   ├── java.yml
│       │   ├── kafka-ui-nginx.yml
│       │   ├── kafka-ui.yml
│       │   ├── kafka.yml
│       │   ├── keycloak.yml
│       │   ├── zakroma-storage-nginx.yml
│       │   ├── zakroma-storage.yml
│       │   └── zakroma-zds-fs.yml
│       └── hosts
├── playbooks
│   ├── sample-play-copy-certificates.yml
│   ├── sample-play-java.yml
│   ├── sample-play-kafka-ui-nginx.yml
│   ├── sample-play-kafka-ui.yml
│   ├── sample-play-kafka.yml
│   ├── sample-play-keycloak-copy-realm.yml
│   ├── sample-play-keycloak.yml
│   ├── sample-play-zakroma-storage-nginx.yml
│   ├── sample-play-zakroma-storage.yml
│   ├── sample-play-zakroma-zds-ec.yml
│   └── sample-play-zakroma-zds-fs.yml
├── README.md
└── roles
```  

- **ansible.cfg**  
    Файл конфигурации Ansible, в котором задаются параметры работы (например, пути к инвентарям, настройки подключения, параметры логирования и т.д.).
- **CHANGELOG.md**  
    Журнал изменений проекта. Здесь фиксируются версии, внесённые правки, улучшения и исправления ошибок.
- **collections/**  
    Каталог, содержащий Ansible collections – наборы ролей, плагинов и модулей, объединённых в пакеты для удобного повторного использования и распространения.
- **docs/**  
    Каталог с документацией в формате Markdown.
    - **README.base-cluster.md** – инструкция и описание для развёртывания базового кластера.
    - **README.multicluster.md** – инструкция и описание для развёртывания мультикластера.
    - **README.prepare.md** – руководство по подготовке окружения.
    - **README.single-node.md** – инструкция и описание для развёртывания одиночного узла.
- **files/realm.json**  
    JSON-файл, содержащий сконфигурированный REALM для Keycloak.
- **inventories/**  
    Каталог с инвентарями Ansible, разделёнными по различным сценариям развёртывания:
    - **base-cluster/** Инвентарь для развёртывания базового кластера:
        - **group_vars/** – переменные групп хостов для базового кластера:
            - **certificates.yml** – переменные для копирования сертификатов на целевые хосты.
            - **java.yml** – переменные для установки Java.
            - **kafka-ui-nginx.yml** – переменные для установки и конфигурирования Nginx для Kafka-UI.
            - **kafka-ui.yml** – переменные для установки и конфигурирования Kafka-UI.
            - **kafka.yml** – переменные для установки и конфигурирования Kafka.
            - **keycloak.yml** – переменные для установки и конфигурирования Keycloak.
            - **zakroma-storage-nginx.yml** – переменные для установки и конфигурирования Nginx для Zakroma-Storage.
            - **zakroma-storage.yml** – переменные для установки и конфигурирования Zakroma-Storage.
            - **zakroma-zds-ec.yml** – переменные для установки и конфигурирования Zakroma-ZDS.
        - **hosts** – определение хостов для базового кластера.
    - **multicluster/**  
        Инвентарь для мультикластерного развёртывания:
        - **cluster-1/** и **cluster-2/**  
            Для каждого кластера:
            - **group_vars/** – аналогичные файлы с переменными (такие же файлы, как в base-cluster).
            - **hosts** – определение хостов для конкретного кластера.
    - **single-node/**  
        Инвентарь для развёртывания на одном узле:
        - **group_vars/** – файлы с переменными для одиночного узла. Отличительной особенностью является наличие файла * _zakroma-zds-fs.yml_* (нижний слой хранения без Erasure Coding).
        - **hosts** – файл с описанием единственного узла.
- **playbooks/**  
    Каталог с playbook'ов, необходимых для применение ролей или выполнение конкретных задач:
    - **sample-play-copy-certificates.yml** – playbook для копирования сертификатов.
    - **sample-play-java.yml** – playbook для установки Java.
    - **sample-play-kafka-ui-nginx.yml** – playbook для установки и конфигурирования Nginx для Kafka-UI.
    - **sample-play-kafka-ui.yml** – playbook для установки и конфигурирования Kafka UI.
    - **sample-play-kafka.yml** – playbook для установки и конфигурирования Kafka.
    - **sample-play-keycloak-copy-realm.yml** – playbook для копирования realm-конфигурации в Keycloak.
    - **sample-play-keycloak.yml** – playbook для установки и конфигурирования Keycloak.
    - **sample-play-zakroma-storage-nginx.yml** – playbook для установки и конфигурирования Nginx для Zakroma-Storage.
    - **sample-play-zakroma-storage.yml** – playbook для установки и конфигурирования Zakroma-Storage.
    - **sample-play-zakroma-zds-ec.yml** – playbook для установки и конфигурирования Zakroma-ZDS в режиме EC (с применением Erasure Coding)
    - **sample-play-zakroma-zds-fs.yml** – playbook для установки и конфигурирования Zakroma-ZDS в режиме FS (без Erasure Coding).
- **README.md**  
    Основной файл с описанием проекта, содержащий обзор, инструкции по установке, использованию и общую информацию о проекте.
- **roles/**  
    Каталог, где располагаются Ansible роли.


Установка через ansible

Установка тестовой инсталляции на 1 сервере

Установка на 1 сервере (Single Node)

Описание общей архитектуры решения и компонент

Архитектура решения

Расчет требований к инфраструктуре

Требования

Первые шаги в приложении

Начало работы

С чего начать

Подготовка инфраструктуры

Установка helm-чартами

Контейнеры

Настройка Virtual-hosted–style

Метрики

Настройка Keycloak

Настройка Zakroma.Storage (ZDS)

Настройка PostgreSQL

Self signed ssl certificate

Окружение

Установка

CLI (Command Line Interface, zcli)

Отслеживание задач и статуса системы

Мониторинг

Описание работы страницы с операциями

Операции

Как создавать и настраивать бакеты

Бакет (bucket)

CORS

Шардирование

Публичные бакеты

Описание типов хранилищ

Тип Хранилища

Подключение ресурса хранения

Хранилища

Версионирование бакета

Версионирование

Просмотр бакета

Управление рабочими областями

Рабочие области

Удаление бакета

Настройка хранения

Редактирование информации о пользователях

Пользователи

Роли

Управление ключами доступа

Администраторы workspace/bucket

Политики доступа предназначены для создания правил разграничения доступа пользователей к операциям S3.

Политики доступа

Профиль пользователя

Фильтрация по IP

Группы пользователей

Доступ

Настройка конфигурации для пакетов

Включение кластерного режима

Добавление кластера

Принцип работы кластерного режима

Мультикластер

Настройка конфигурации для kubernetes

Управление

Как подключить хранилище с уже имеющимися данными в нем

Подключение хранилища с данными

Механизм оповещения других систем о событиях в хранилище.

Webhooks

Путь хранения объектов бакета на подключенном хранилище

Формирование пути хранения данных

Политика Зеркалирование позволяет настроить синхронную и асинхронную репликацию бакета

Зеркалирование

Политика Расширение позволяет объединить несколько ресурсов хранения

Расширение

Правила жизненного цикла данных

Жизненный цикл

Политики хранения

Перенос данных бакета из одного Хранилища в другое

Миграция данных

Таблица поддерживаемых методов AWS S3

Поддержка методов AWS S3

Отказоустойчивость

Краткое описание схемы работы Erasure Coding

Масштабирование объёма хранения

Настройка подключения к Закрома Хранение

Подключение к Закрома.Хранение

Как загружать, скачивать, синхронизировать, удалять и просматривать объекты через S3 Browser

Пример работы c S3 через S3 Browser

Работа с S3 Browser

Использование

Что изменилось в приложении в текущем релизе