## Общий принцип работы

> [!info] Мультикластер
> Мультикластер - это режим работы Закрома.Хранение, когда отдельные инстансы кластера ЗАКРОМА объединяются в группу и образуют единое распределенное хранилище. Данное решение позволяет существенно увеличить надежность и производительность системы, а также построить свой собственный [CDN](https://ru.wikipedia.org/wiki/Content_Delivery_Network).


Мультикластер обеспечивает высокую доступность: при отказе одного узла его функции перенимают на себя другие узлы мультикластера. Таким образом, бизнес-сервисы и приложения продолжают работать без остановки благодаря аппаратной избыточности. Чтобы построить отказоустойчивую структуру, требуется минимум два физических сервера с системами хранения данных.
Каждый узел кластера - является отдельным инстансом Закрома.Хранение, которая получает и отправляет события с других кластеров для поддержания консистентности данных в системе. Каждый узел имеет свою базу данных. Kafka может быть  у каждого отдельная, или общая, с правильной настройкой разных топиков.

![image](https://storage.yandexcloud.net/zakroma-ru/media/f42a2266a39bd2c5caed93b34b9a1737.png)

## Включение кластерного режима

Для включения кластерного режима необходимо подключить Kafka и настроить конфигурацию. Для более подробной настройки смотреть [здесь](https://zakroma.ru/knowledgeBase/storage/article/dobavlenie-klastera?version=2.6).

## Создание рабочей области в кластерном режиме

Обычное создание рабочей области происходит по инструкции [создания рабочей области](https://zakroma.ru/knowledgeBase/storage/article/rabochie-oblasti?version=2.6). Для обозначения рабочей области как мультикластерной, необходимо активировать признак `Мультикластерная рабочая область`.  В данной области объекты всех бакетов будут реплицироваться. В обычной рабочей области объекты реплицироваться не будут.
![image | 500](https://storage.yandexcloud.net/zakroma-ru/media/a156ab2fda61eef8b9a8d3179ae6109b.png)

>[!info] Обратите внимание, что при получении события о создании рабочей области с другого кластера, "хранилище по умолчанию" не будет установлено, при необходимости это нужно доностроить вручную.
>
### Отображение мультикластерной рабочей области

В списке всех рабочих областей мультикластерная рабочая область отличается от обычной рабочей области специальным символом, расположенным справа от ее названия. При наведении на символ, отображается подсказка «Мультикластерная рабочая область».  
![image | 500](https://storage.yandexcloud.net/zakroma-ru/media/db867e2dc7093acdecdda8514ccd922d.png)
В карточке рабочей области мультикластерная рабочая область имеет переключатель `Мультикластерная рабочая область`.  
![image | 500](https://storage.yandexcloud.net/zakroma-ru/media/821f8b8c66a13c66b760fb8b0ee1d700.png)

>[!info] Переключатель всегда находится в заблокированном состоянии т.к изменить данный параметр после создания нельзя.

> [!warning] Важно
> При создании рабочей области в другом кластере, в текущем кластере создается рабочая область с пустым хранилищем по умолчанию. Если после создания такой рабочей области не было задано на текущем кластере хранилище по умолчанию вручную, то чтобы загружать файлы на текущий кластер, необходимо [настроить политику хранения для бакета](https://zakroma.ru/knowledgeBase/storage/article/nastrojka-hraneniya-baketa?version=2.6) в текущем кластере вручную для созданного бакета из другого кластера.
> **Для бакетов созданных в текущем кластере** распространяются [обычные правила](https://zakroma.ru/knowledgeBase/storage/article/buckets?version=2.6) создания политик хранения, eсли задано хранилище по умолчанию в рабочей области.

## Создание бакета в кластерном режиме

Создание бакета не отличается от обычного [создания бакета](https://zakroma.ru/knowledgeBase/storage/article/buckets?version=2.6).

> [!info] Политика хранения в другом кластере
> Обратите внимание, что при получении события о создании бакета с другого кластера,  если у рабочей области было установлено "хранилище по умолчанию", то автоматически создаётся политика хранения на это хранилище, если "хранилище по умолчанию" не было задано то политика не будет создана (не будет локального хранения) и при попытке пользователем скачать файл с бакета файлы будут скачиваться всегда с другого кластера, до тех пор пока бакет не будет донастроен добавлением политик хранения.
### Отображение мультикластерного бакета

В списке бакетов рабочей области мультикластерный бакет отличается от обычного бакета специальным символом, расположенным справа от его названия. При наведении на символ, отображается подсказка «Мультикластерный bucket».  
![image](https://storage.yandexcloud.net/zakroma-ru/media/aa5e98a7a219f1e3f7f2c614c3c45c3b.png)

## Особенности работы с политиками хранения кластера

Для каждого кластера политики хранения индивидуальны и [настраиваются](https://zakroma.ru/knowledgeBase/storage/article/nastrojka-hraneniya-baketa?version=2.6) под каждый кластер отдельно.

## Права, роли и s3 токены

В режиме кластера происходит синхронизация ролей, прав для рабочих областей и бакетов, а также s3 токенов для доступа к Закрома Хранение(aws_secret_access_key), генерация которых происходит на вкладке [пользователя](https://zakroma.ru/knowledgeBase/storage/article/polzovateli?version=2.6). Синхронизация происходит через топики Kafka.

## Обмен сообщениями между кластерами, cинхронизация

Обмен сообщениями между кластерами происходит при помощи Kafka (распределённый программный брокер сообщений).

>[!info] Добавление нового узла
>При добавлении нового узла вычитываются все сообщения из топиков, что позволяет добиться консистентности для нового созданного узла, а также консистености данных для уже существующих узлов, в которых при том или ином обстоятельстве произошел сбой (пример потеря интернет соединения).


> [!warning] Важно
> Необходимо учитывать два момента при создании нового узла: топик kafka не является бесконечным и время от времени удаляется, данный параметр настраивается в настройках топика кафки, в случае если какое-то важное событие было уже удалено - это может привести к неконсистентности данных (например, событие создания бакета \[отсутствует в топике\], а последующие события \[находятся в топике\] это загрузка файлов в данный бакет). Второй момент является что необходимо просмотреть уже созданные **concumer-group** в kafka и обязательно создавать уникальную concumer-group для нового узла, иначе чтение топика может начаться не с начала.

## Кластерные вольюмы (Cluster Volume) и Ссылочные объекты

> [!info] Глоссарий
> **Ссылочный объект** - это объект, который не храниться в текущем кластере, но хранится ссылка для получения его из другого кластера.
> **Ссылочный вольюм (Cluster Volume)** - это ссылка на раздел хранилища бакета в другом кластере.

**Ссылочный объект** создается, когда на другом кластере загружается объект, но на текущем кластере или нету политики хранения или объект еще не успел физически отреплицироваться на текущей узел мультикластера, из этого следует что, текущий файл есть на другом кластере и, при необходимости, можно будет получить файл с другого кластера. Для поддержания ссылочного объекта, при создании бакета создаются специальные **ссылочные вольюмы**, которые ссылаются на другие узлы мультикластера.

## Синхронизация файлов между кластерами

Синхронизация, а точнее получение файлов с другого кластера и сохранение в локальном хранилище, происходит только в том случае, если к бакету привязано как минимум одно локальное хранилище(настроена политика хранения), иначе текущий кластер будет получать файл **с другого кластера** при попытке скачать файл пользователем.

## Скачивание объектов

При запросе на скачивание объекта текущий кластер следует алгоритму: 
1. Если у него на локальном хранилище есть данный файл, то он будет пытаться отдать данный файл. 
2. Если файл не найден (не успел отреплицироваться), то будет использован ссылочный объект и попытка скачать объект из другого кластера.
3. Если в кластере есть несколько ссылочных связей к объекту, то текущий кластер будет поочередно запрашивать файл из других кластеров, пока не получит успешный результат или не пройдет весь список других узлов мультикластера.

> [!info] Механизм обрывания циклов
> Чтобы избежать циклов при скачивании, предусмотрен механизм обрывания циклов. Данный механизм позволяет оборвать цикл, если при запросе скачивания файла, текущий запрос уже был обработан текущим кластером.

## Загрузка объектов

Загруженные объекты в текущем кластере реплицируются на другие кластера, если бакет работает в режиме "Мультикластерный bucket". При загрузке объекта, это событие записывается в очередь сообщений в Kafka. Другие кластера вычитывают это сообщение и загружают к себе объект локально.

 > [!warning] Важно убедиться
 > Перед загрузкой объектов в новый бакет убедитесь, что бакет успел отреплицироваться на другие кластера. В противном случае, есть вероятность что событие загрузки объекта обработается вторым кластером раньше, чем событие создания нового бакета. В будущих релизах планируется улучшить поведение кластерного режима в этой части.






Принцип работы кластерного режима

Мультикластер


## Требования
------------

- Установленные отдельно два независимых кластера ЗАКРОМА.
- Установленная Kafka.

## Настройка
--------------

1. Произвести настройки в конфигурации
    1. Добавить компонент CDN: настроив параметры.
    2. Добавить параметры для gateway в мультикластерном режиме.
2. Перезагрузить все сервисы.
3. Через несколько секунд(чтобы все компоненты успели запуститься) убедиться что сервисы запустились успешно.
4. Произвести аналогичную настройку для всех последующих узлов мультикластера с пункта 1 до пункта 3.
5. Произвести проверку связанности [см. здесь](https://zakroma.ru/knowledgeBase/storage/article/dobavlenie-klastera#%D0%9F%D1%80%D0%BE%D0%B2%D0%B5%D1%80%D0%BA%D0%B0%20%D1%83%D1%81%D1%82%D0%B0%D0%BD%D0%BE%D0%B2%D0%BA%D0%B8?version=2.6).

> [!info]  Подробнее
> Для настройки конфигурации в зависимости от типа установки смотрите
> - [Контейнерный вариант (Kubernetes)](https://zakroma.ru/knowledgeBase/storage/article/nastrojka-konfiguracii-kubernetes?version=2.6)
> - [Пакетный вариант (Rpm/Deb)](https://zakroma.ru/knowledgeBase/storage/article/nastrojka-konfiguracii-rpm-deb?version=2.6)

## Подключение к S3

* Protocol: `https`
* Host: `<workspace_name>.ps.*FQDN*`
* Signature version: `V4 sign`
  где: <workspace_name> - имя рабочей области, где находятся бакеты, например `test`.

## Панель администратора

* Admin UI :
    * Url - `https://zakroma-admin.*FQDN*`
    * Username - `zakromaadmin`
    * Password - Какой вы указали на этапе создания пользователя `zakromaadmin` в keycloak

## Проверка установки

### Шаг 1. Физическая репликация файлов

1. Создать [хранилище](https://zakroma.ru/knowledgeBase/storage/article/storages?version=2.6) в кластере 1.
2. Создать [рабочую область](https://zakroma.ru/knowledgeBase/storage/article/rabochie-oblasti?version=2.6) в кластере 1.
3. Зайти в панель администратора в кластере 2 убедиться что появилась созданная рабочая область.
4. Создать хранилище в кластере 2.
5. Установить в кластере 2 для созданной рабочей области хранилище по умолчанию.
6. Добавить политику доступа в панели администратора, на любом узле для созданной рабочей области.
7. [Сгенерировать s3 ключ](https://zakroma.ru/knowledgeBase/storage/article/upravlenie-klyuchami-dostupa?version=2.6), перейдя в профиль пользователя в панели администратора.
8. Выполнить подключение через S3 клиент (например s3Browser) к кластеру 1 и создать бакет.
9. Загрузить объект в кластере 1.
10. Подключиться к кластеру 2 убедиться что появился объект и так же его попробовать скачать.

### Шаг 2. Ссылочные объекты

> [!info] **Ссылочный объект** - это объект, который не храниться в текущем кластере, но хранится ссылка для получения его из другого кластера.

1. Создать хранилище в кластере 1.
2. Создать рабочую область в кластере 1 .
3. Зайти в панель администратора в кластере 2 убедиться что появилась созданная рабочая область.
4. Добавить политику доступа в панели администратора, на любом узле для созданной рабочей области.
5. Сгенерировать s3 ключ, перейдя в профиль пользователя в панели администратора.
6. Выполнить подключение через S3 клиент (например s3Browser) к кластеру 1 и создать бакет.
7. Загрузить объект в кластере 1.
8. Подключиться к кластеру 2 убедиться что появился объект и так же его попробовать скачать (ссылочный объект).





Включение кластерного режима

Добавление кластера

## Настройка конфигурации Kubernetes для мультикластера
-------------- 
> [!info] Смотрите также
> Данная инструкция рассматривает настройку конфигурации для Kubernetes и служит частью инструкции по настройке [мультикластерного режима](https://zakroma.ru/knowledgeBase/storage/article/dobavlenie-klastera?version=2.6).

1. Произвести настройки в конфигурации
	1. Добавить и настроить компонент CDN. [Описание параметров смотрите ниже `Описание переменных`.](https://zakroma.ru/knowledgeBase/storage/article/nastrojka-konfiguracii-kubernetes?version=2.6)
```yaml
  global:
    config:
      cdn:
        logLevel: WARN
        database:
          host: <postgres_host>
          name: <postgres_name>
          searchPath: multi-cluster
          user: <postgres_username>
          password: <postgres_password>
        clusters:
          this:
            name: cluster1
            kafka:
              servers: [ "kafka-cluster-1.multi-cluster-infra.svc.cluster.local:9092" ]
              user: <user>
              password: <pass>
          others:
            - name: cluster2
              kafka:
                servers: [ "kafka-cluster-2.regress-multi-cluster-infra.svc.cluster.local:9092" ]
                user: <user>
                password: <pass>
              http:
                protocol: http
                host: cdn-service.multi-cluster-2.svc.cluster.local
                port: 80
```
	1. Добавить параметры для gateway в мультикластерном режиме.
```yaml
global:
  config:
    gatewayCloud:
      # ... предудщие настройки для gateway
      # ниже настройки которые необходимо добавить
      clusters:
        enabled: true
        this:
          name: GatewayCluster1
          kafka:
            servers:
              - kafka-cluster-1.multi-cluster-infra.svc.cluster.local:9092
            user: <user>
            password: <pass>
        others:
          - name: GatewayCluster2
            kafka:
              servers:
                - kafka-cluster-2.multi-cluster-infra.svc.cluster.local:9092
              user: <user>
              password: <pass>
```

2. Обновить все сервисы через helm upgrade
3. Дождаться чтобы все компоненты успели запуститься. Убедитесь, что сервисы  успешно запустились.
4. Произвести аналогичную настройку для всех последующих узлов мультикластера (кластеров) с пункта 1 до пункта 3.
5. Произвести проверку связанности, [см. здесь](https://zakroma.ru/knowledgeBase/storage/article/dobavlenie-klastera?version=2.6).

## Описание переменных

| Переменная                                                        | Описание                                                                                                                                               |          Значение по умолчанию           | Required |
|-------------------------------------------------------------------|--------------------------------------------------------------------------------------------------------------------------------------------------------|:----------------------------------------:|:--------:|
| `global.config.cdn.logLevel`                                      | Уровень логирования для компонента cdn                                                                                                                 |                   INFO                   |          |
| `global.config.cdn.database.host`                                 | Хост базы данных                                                                                                                                       |                                          |   yes    |
| `global.config.cdn.database.name`                                 | Имя базы данных                                                                                                                                        |                                          |   yes    |
| `global.config.cdn.database.searchPath`                           | Схема базы данных                                                                                                                                      |                  public                  |          |
| `global.config.cdn.database.user`                                 | Пользователь базы данных                                                                                                                               |                                          |   yes    |
| `global.config.cdn.database.password`                             | Пароль базы данных                                                                                                                                     |                                          |   yes    |
| -                                                                 | -                                                                                                                                                      |                                          |          |
| `global.config.cdn.clusters.this.name`                            | Имя текущего кластера. Используется для идентификации и различения данного кластера от других в системе                                                |                    -                     |   yes    |
| `global.config.cdn.clusters.this.kafka.topic`                     | Название топика Kafka, используемого в текущем кластере для отправки сообщений о репликации                                                            |     ZakromaCdn__<this_cluster_name>      |          |
| `global.config.cdn.clusters.this.kafka.dead_letter`               | Название топика "мертвых писем" используется для хранения сообщений, которые не удалось обработать из основного топика                                 | ZakromaCdnDeadLetter_<this_cluster_name> |          |
| `global.config.cdn.clusters.this.kafka.servers`                   | Адреса серверов Kafka для текущего кластера                                                                                                            |                                          |   yes    |
| `global.config.cdn.clusters.this.kafka.user`                      | Имя пользователя для аутентификации в Kafka в текущем кластере                                                                                         |                    ""                    |          |
| `global.config.cdn.clusters.this.kafka.password`                  | Пароль для аутентификации в Kafka для текущего кластера                                                                                                |                    ""                    |          |
| -                                                                 | -                                                                                                   -                                                  |                                          |          |
| `global.config.cdn.clusters.others.name`                          | Имя другого кластера, с которым происходит взаимодействие                                                                                              |                                          |   yes    |
| `global.config.cdn.clusters.others.kafka.servers`                 | Адреса серверов Kafka в другом кластере                                                                                                                |                                          |   yes    |
| `global.config.cdn.clusters.others.kafka.topic`                   | Название топика Kafka в другом кластере с котором происходит чтение событий репликации                                                                 |     ZakromaCdn__<other_cluster_name>     |   yes    |
| `global.config.cdn.clusters.others.kafka.consumer_group`          | Название группы потребителей (Consumer Group) в Kafka для другого кластера                                                                             |           <this_cluster_name>            |   yes    |
| `global.config.cdn.clusters.others.kafka.user`                    | Имя пользователя для аутентификации в Kafka в другом кластере                                                                                          |                    ""                    |          |
| `global.config.cdn.clusters.others.kafka.password`                | Пароль для аутентификации в Kafka в другом кластере                                                                                                    |                    ""                    |          |
| `global.config.cdn.clusters.others.http.protocol`                 | Протокол  используемый для связи с другим кластером (HTTP или HTTPS)                                                                                   |                                          |   yes    |
| `global.config.cdn.clusters.others.http.host`                     | Хост (или домен) другого кластера, к которому происходит обращение по HTTP                                                                             |                                          |   yes    |
| `global.config.cdn.clusters.others.http.port`                     | Порт другого кластера, к которому происходит обращение по HTTP                                                                                         |                                          |   yes    |
| `global.config.cdn.clusters.others.http.download_timeout`         | Время ожидания в секундах при скачивании данных по HTTP из другого кластера. Если загрузка данных превышает этот тайм-аут, процесс может быть прерван. |                                          |   yes    |
| -                                                                 | -                                                                                                                                                      |                                          |          |
| `global.config.gatewayCloud.clusters.enabled`                     | Включить режим мульти-кластера в gateway репликаця (s3 ключи, политики доступа, роли пермиссии)                                                        |                                          |   yes    |
| `global.config.gatewayCloud.clusters.this.name`                   | Имя текущего кластера.                                                                                                                                 |                                          |   yes    |
| `global.config.gatewayCloud.clusters.this.kafka.topic`            | Название топика Kafka, используемого в текущем кластере для отправки сообщений о репликации                                                            |           <this_cluster_name>            |          |
| `global.config.gatewayCloud.clusters.this.kafka.servers`          | Адреса серверов Kafka для текущего кластера                                                                                                            |                                          |   yes    |
| `global.config.gatewayCloud.clusters.this.kafka.user`             | Имя пользователя для аутентификации в Kafka в текущем кластере                                                                                         |                    ""                    |          |
| `global.config.gatewayCloud.clusters.this.kafka.password`         | Пароль для аутентификации в Kafka для текущего кластера                                                                                                |                    ""                    |          |
| -                                                                 | -                                                                                                   -                                                  |                                          |          |
| `global.config.gatewayCloud.clusters.others.name`                 | Имя другого кластера, с которым происходит взаимодействие                                                                                              |                                          |   yes    |
| `global.config.gatewayCloud.clusters.others.kafka.servers`        | Адреса серверов Kafka в другом кластере                                                                                                                |                                          |   yes    |
| `global.config.gatewayCloud.clusters.others.kafka.topic`          | Название топика Kafka в другом кластере с котором происходит чтение событий репликации                                                                 |                                          |   yes    |
| `global.config.gatewayCloud.clusters.others.kafka.consumer_group` | Название группы потребителей (Consumer Group) в Kafka для другого кластера                                                                             |           <this_cluster_name>            |          |
| `global.config.gatewayCloud.clusters.others.kafka.user`           | Имя пользователя для аутентификации в Kafka в другом кластере                                                                                          |                    ""                    |          |
| `global.config.gatewayCloud.clusters.others.kafka.password`       | Пароль для аутентификации в Kafka в другом кластере                                                                                                    |                    ""                    |          |


Настройка конфигурации для kubernetes


> [!info] Данная инструкция служит продолжением инструкции по настройке мультикластера [добавление мультикластерного режима](https://zakroma.ru/knowledgeBase/storage/article/dobavlenie-klastera?version=2.6), в которой расcматривается как произвести настройку конфигурации для rpm/deb пакетов.

## Установка и настройка мультикластера

Установка и обновление пакетов производится с помощью Ansible-ролей. Смотрите описание установки в статьях: 
- [Установка с помощью Ansible-роли](https://zakroma.ru/knowledgeBase/storage/article/ustanovka-cherez-ansible-role?version=2.6).
- [Установка варианта с мультикластером](https://zakroma.ru/knowledgeBase/storage/article/ustanovka-varianta-s-multiklasterom?version=2.6).

Настройка конфигурации для пакетов

Первые шаги в приложении

Начало работы

Описание общей архитектуры решения и компонент

Архитектура решения

Расчет требований к инфраструктуре

Требования

С чего начать

Установка Закрома.Хранение

Установка

CLI (Command Line Interface, zcli)

Отслеживание задач и статуса системы

Мониторинг

Описание работы страницы с операциями

Операции

Как создавать и настраивать бакеты

Бакет (bucket)

Управление рабочими областями

Рабочие области

Удаление бакета

Версионирование бакета

Версионирование

Просмотр бакета

CORS

Публичные бакеты

Подключение ресурса хранения

Хранилища

Описание типов хранилищ

Тип Хранилища

Шардирование

Настройка хранения

Управление ключами доступа

Группы пользователей

Администраторы workspace/bucket

Фильтрация по IP

Профиль пользователя

Редактирование информации о пользователях

Пользователи

Политики доступа предназначены для создания правил разграничения доступа пользователей к операциям S3.

Политики доступа

Роли

Доступ

Управление

Путь хранения объектов бакета на подключенном хранилище

Формирование пути хранения данных

Правила жизненного цикла данных

Жизненный цикл

Механизм оповещения других систем о событиях в хранилище.

Webhooks

Политика Расширение позволяет объединить несколько ресурсов хранения

Расширение

Политика Зеркалирование позволяет настроить синхронную и асинхронную репликацию бакета

Зеркалирование

Как подключить хранилище с уже имеющимися данными в нем

Подключение хранилища с данными

Политики хранения

Описание возможностей масштабирования объёма хранения кластера

Масштабирование объёма хранения

Перенос данных бакета из одного Хранилища в другое

Миграция данных

Таблица поддерживаемых методов AWS S3

Поддержка методов AWS S3

Отказоустойчивость

Краткое описание схемы работы Erasure Coding

Пример работы c S3 через S3 Browser

Настройка подключения к Закрома Хранение

Подключение к Закрома.Хранение

Работа с S3 Browser

Использование

Что изменилось в приложении в текущем релизе