## Общий принцип работы

> [!info] Мультикластер
> Мультикластер - это режим работы Закрома.Хранение, когда отдельные инстансы кластера ЗАКРОМА объединяются в группу и образуют единое распределенное хранилище. Данное решение позволяет существенно увеличить надежность и производительность системы, а также построить свой собственный [CDN](https://ru.wikipedia.org/wiki/Content_Delivery_Network). 


Мультикластер обеспечивает высокую доступность: при отказе одного узла его функции перенимают на себя другие узлы мультикластера. Таким образом, бизнес-сервисы и приложения продолжают работать без остановки благодаря аппаратной избыточности. Чтобы построить отказоустойчивую структуру, требуется минимум два физических сервера с системами хранения данных.
Каждый узел кластера - является отдельным инстансом Закрома.Хранение, которая получает и отправляет события с других кластеров для поддержания консистентности данных в системе. Каждый узел может иметь свою базу данных. 

![image](https://storage.yandexcloud.net/zakroma-ru/media/f42a2266a39bd2c5caed93b34b9a1737.png)

## Включение кластерного режима

Для включения кластерного режима необходимо подключить Kafka и настроить конфигурацию. Для более подробной настройки смотреть [здесь](https://zakroma.ru/knowledgeBase/storage/article/dobavlenie-klastera?version=2.2).

## Создание рабочей области в кластерном режиме 

Обычное создание рабочей области происходит по инструкции [создания рабочей области](https://zakroma.ru/knowledgeBase/storage/article/rabochie-oblasti?version=2.2). Для обозначения рабочей области как мультикластерной, необходимо активировать признак `Мультикластерная рабочая область`.  
![image | 500](https://storage.yandexcloud.net/zakroma-ru/media/a156ab2fda61eef8b9a8d3179ae6109b.png)

>[!info] Обратите внимание, что при получении события о создании рабочей области с другого кластера, "хранилище по умолчанию" не будет установлено. 
>
### Отображение мультикластерной рабочей области

В списке всех рабочих областей мультикластерная рабочая область отличается от обычной рабочей области специальным символом, расположенным справа от ее названия. При наведении на символ, отображается подсказка «Мультикластерная рабочая область».  
![image | 500](https://storage.yandexcloud.net/zakroma-ru/media/db867e2dc7093acdecdda8514ccd922d.png)
В карточке рабочей области мультикластерная рабочая область имеет переключатель `Мультикластерная рабочая область`.  
![image | 500](https://storage.yandexcloud.net/zakroma-ru/media/821f8b8c66a13c66b760fb8b0ee1d700.png)

>[!info] Переключатель всегда находится в заблокированном состоянии.

## Создание бакета в кластерном режиме 

Создание бакета не отличается от обычного [создания бакета](https://zakroma.ru/knowledgeBase/storage/article/buckets?version=2.2).

> [!info] Политика хранения в другом кластере
> Обратите внимание, что при получении события о создании бакета с другого кластера,  если у рабочей области было установлено "хранилище по умолчанию", то автоматически создаётся политика хранения на это хранилище, если "хранилище по умолчанию" не было задано то политика не будет создана (не будет локального хранения) и бакет будет в режиме получения файлов с другого кластера при попытки пользователем скачать файл. 
### Отображение мультикластерного бакета

В списке бакетов рабочей области мультикластерный бакет отличается от обычного бакета специальным символом, расположенным справа от его названия. При наведении на символ, отображается подсказка «Мультикластерный bucket».  
![image](https://storage.yandexcloud.net/zakroma-ru/media/aa5e98a7a219f1e3f7f2c614c3c45c3b.png)

## Особенности работы с политиками хранения кластера

Для каждого кластера политики хранения индивидуальны и [настраиваются](https://zakroma.ru/knowledgeBase/storage/article/nastrojka-hraneniya-baketa?version=2.2) под каждый кластер отдельно.

## Права, роли и s3 токены

> [!info] В режиме кластера происходит синхронизация ролей, прав для рабочих областей и бакетов, а также s3 токенов для доступа к Закрома Хранение(aws_secret_access_key), генерация которых происходит на вкладке [пользователя](https://zakroma.ru/knowledgeBase/storage/article/polzovateli?version=2.2). Синхронизация происходит через топики Apache Kafka.

## Обмен сообщениями между кластерами, cинхронизация

Обмен сообщениями между кластерами происходят при помощи Apache Kafka (распределённый программный брокер сообщений). 

>[!info] Добавление нового узла
>При добавлении нового узла вычитываются все сообщения из топиков, что позволяет добиться консистентности для нового созданного узла, а также консистености данных для уже существующих узлов, в которых при том или ином обстоятельстве произошел сбой (пример потеря интернет соединения).


> [!warning] Важно
> Необходимо учитывать два момента при создании нового узла: топик кафки не является бесконечным и время от времени удаляется, данный параметр настраивается в настройках топика кафки, в случае если какое-то важное событие было уже удалено - это может привести к неконсистентности данных (например событие создания бакета \[отсутствует в топике\], а последующие события \[находятся в топике\] это загрузка файлов в данный бакет). Второй момент является что необходимо просмотреть уже созданные **concumer-group** в кафке и обязательно создавать уникальную concumer-group для нового узла, иначе чтение топика может начаться не с начала.

## Синхронизация файлов между кластерами

Синхронизация, а точнее получение файлов с другого кластера и сохранение в локальном хранилище, происходит только в том случае, если к бакету привязано как минимум одно локальное хранилище(настроена политика хранения), иначе текущий кластер будет получать файл **с другого кластера** при попытке скачать файл пользователем.

## Скачивание объектов

При скачивании объектов вначале кластер посмотрит есть ли у него на локальном хранилище данный файл, если есть, то будет пытаться использовать данный файл, если файл не найден будет использован другой механизм:
у бакета имеются ссылочные Объекты (Cluster Volume) на другие кластера, если в кластере есть данная связь, то текущий кластер будет поочередно запрашивать файл из другого кластера(только для других кластеров у которых данный файл сохранен в локальном хранилище), пока не получит успешный результат или закончится список (Cluster Volume).

> [!info] Механизм обрывания циклов
> Чтобы избежать циклов при скачивании, предусмотрен механизм обрывания циклов. Данный механизм позволяет оборвать цикл, если при запросе скачивания файла, текущий запрос уже был обработан текущим кластером.

## Загрузка объектов 

> [!warning] Важно
> При создании рабочей области в другом кластере, в текущем кластере создается рабочая область с пустым хранилищем по умолчанию. Если после создания такой рабочей области не было задано на текущем кластере хранилище по умолчанию вручную, то чтобы загружать файлы на текущий кластер, необходимо [настроить политику хранения для бакета](https://zakroma.ru/knowledgeBase/storage/article/nastrojka-hraneniya-baketa?version=2.2) в текущем кластере вручную для созданного бакета из другого кластера. 
> **Для бакетов созданных в текущем кластере** распространяются [обычные правила](https://zakroma.ru/knowledgeBase/storage/article/buckets?version=2.2) создания политик хранения, eсли задано дефолтное хранилище в рабочей области.


## Кластерные вольюмы (Cluster Volume) для бакета

Существует такое понятие как **ссылочный объект**. Данный объект создается когда на другом кластере создается бакет. Когда другой кластер у себя сохраняет локально файл, текущий кластер получает событие и создает связь в (Cluster Volume), из этого следует что, текущий файл есть на другом кластере и при необходимости можно будет получить файл с другого кластера.

> [!info] Список кластерных вольюмов для текущего бакета можно получить из панели администратора на вкладке определенного бакета. Данный список будет подтверждать что на другом кластере данный бакет был создан успешно.







Принцип работы кластерного режима

Мультикластер

## Требования
------------
- установленные отдельно два независимых кластера ЗАКРОМА.

## Настройка 
--------------
Отредактировать конфиг на первом кластере и на втором

```bash
sudo vi /opt/zakroma/zakroma-storage/cfg/config.yaml
```

1. Добавить feature cdn
```
features:
  ...
  cdn:
    enabled: true
```

1. Добавить подключение cdn 
```
clients:
  grpc:
    ...
    cdn:
      host: localhost
      port: 9099
```

1. Добавить компонент CDN: настроив параметры
```
components:
  ...
  - type: cdn
    grpc:
      port: 9099
    http:
      port: 8099
    clusters:
      enabled: true
      this:
        name: cdn-1
        kafka:
          servers:
            - <CURRENT_HOST>:9094
          topic: cdn-1
          dead_letter: "DeadLetterQueue-cdn-1"
          user:
          password:
      others:
        - name: cdn-2
          kafka:
            servers:
              - <OTHER_HOST>:9094
            topic: cdn-2
            consumer_group: cdn-1
            user:
            password:
          http:
            protocol: "http"
            host: "<OTHER_HOST>"
            port: "8099"
            token: ""
            download_timeout: "10m"
```

| Переменная                              | Описание                                                                                                                                               | Значение по умолчанию | Required |
|-----------------------------------------|--------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------:|:--------:|
| `clusters.this.name`                    | Имя текущего кластера. Используется для идентификации и различения данного кластера от других в системе                                                |           -           |   yes    |
| `clusters.this.kafka.topic`             | Название топика Kafka, используемого в текущем кластере для отправки сообщений о репликации                                                            |                       |   yes    |
| `clusters.this.kafka.servers`           | Адреса серверов Kafka для текущего кластера                                                                                                            |                       |   yes    |
| `clusters.this.kafka.dead_letter`       | Название топика "мертвых писем" используется для хранения сообщений, которые не удалось обработать из основного топика                                 |                       |   yes    |
| `clusters.this.kafka.user`              | Имя пользователя для аутентификации в Kafka в текущем кластере                                                                                         |          ""           |          |
| `clusters.this.kafka.password`          | Пароль для аутентификации в Kafka для текущего кластера                                                                                                |          ""           |          |
| -                                       | -                                                                                                   -                                                  |                       |          |
| `clusters.others.name`                  | Имя другого кластера, с которым происходит взаимодействие                                                                                              |                       |   yes    |
| `clusters.others.kafka.servers`         | Адреса серверов Kafka в другом кластере                                                                                                                |                       |   yes    |
| `clusters.others.kafka.topic`           | Название топика Kafka в другом кластере с котором происходит чтение событий репликации                                                                 |                       |   yes    |
| `clusters.others.kafka.consumer_group`  | Название группы потребителей (Consumer Group) в Kafka для другого кластера                                                                             |                       |   yes    |
| `clusters.others.kafka.user`            | Имя пользователя для аутентификации в Kafka в другом кластере                                                                                          |          ""           |          |
| `clusters.others.kafka.password`        | Пароль для аутентификации в Kafka в другом кластере                                                                                                    |          ""           |          |
| `clusters.others.http.protocol`         | Протокол  используемый для связи с другим кластером (HTTP или HTTPS)                                                                                   |                       |   yes    |
| `clusters.others.http.host`             | Хост (или домен) другого кластера, к которому происходит обращение по HTTP                                                                             |                       |   yes    |
| `clusters.others.http.token`            | Токен авторизации для доступа к HTTP API другого кластера. Этот токен используется для аутентификации запросов                                         |          ""           |          |
| `clusters.others.http.download_timeout` | Время ожидания в секундах при скачивании данных по HTTP из другого кластера. Если загрузка данных превышает этот тайм-аут, процесс может быть прерван. |                       |   yes    |



1. Перезагрузить сервис
``` 
sudo service zakroma-storage restart
```
1. Через несколько секунд(чтобы все компоненты успели запуститься) убедиться что сервис запущен 
```
sudo service zakroma-storage status
```

## Проверка установки

* Admin UI :
  * Url - `https://zakroma-admin.*FQDN*`
  * Username - `zakromaadmin`
  * Password - Какой вы указали на этапе создания пользователя `zakromaadmin` в keycloak

## Подключение к S3
* Protocol: `https`
* Host: `<workspace_name>.ps.*FQDN*`
* Signature version: `V4 sign`
где:
-- <workspace_name> - имя рабочей области, где находятся бакеты, например `test`.


### Шаги проверки
1. Создать хранилище в кластере 1.
2. Создать рабочую область в кластере 1 и создать политику доступа.
3. Зайти в панель администратора в кластере 2 убедиться что появилась созданная рабочая область и создать политику доступа.
4. Выполнить подключение через S3 клиент (например s3Browser) к кластеру 1 и создать бакет.
5. Загрузить объект в кластере 1.
6. Подключиться к кластеру 2 убедиться что появился объект и так же его попробовать скачать (ссылочный объект).

*  **ссылочный объект** - это объект, который не храниться в текущем кластере, но доступен для скачивания из другого кластера.



Включение кластерного режима

Добавление кластера

Расчет требований к инфраструктуре

Требования

Первые шаги в приложении

Начало работы

С чего начать

Установка через ansible

Бинарные пакеты

Подготовка инфраструктуры

Установка helm-чартами

Контейнеры

Настройка Zakroma.Storage (ZDS)

Настройка Keycloak

Настройка Virtual-hosted–style

Настройка PostgreSQL

Self signed ssl certificate

Метрики

Окружение

Установка

Описание работы страницы с операциями

Операции

Отслеживание задач и статуса системы

Мониторинг

CLI (Command Line Interface, zcli)

CORS

Подключение ресурса хранения

Хранилища

Просмотр бакета

Управление рабочими областями

Рабочие области

Как создавать и настраивать бакеты

Бакет (bucket)

Публичные бакеты

Шардирование

Описание типов хранилищ

Тип Хранилища

Удаление бакета

Версионирование бакета

Версионирование

Настройка хранения

Политики доступа предназначены для создания правил разграничения доступа пользователей к операциям S3.

Политики доступа

Редактирование информации о пользователях

Пользователи

Роли

Администраторы workspace/bucket

Профиль пользователя

Управление ключами доступа

Фильтрация по IP

Группы пользователей

Доступ

Управление

Механизм оповещения других систем о событиях в хранилище.

Webhooks

Как подключить хранилище с уже имеющимися данными в нем

Подключение хранилища с данными

Путь хранения объектов бакета на подключенном хранилище

Формирование пути хранения данных

Правила жизненного цикла данных

Жизненный цикл

Политика Расширение позволяет объединить несколько ресурсов хранения

Расширение

Политика Зеркалирование позволяет настроить синхронную и асинхронную репликацию бакета

Зеркалирование

Политики хранения

Перенос данных бакета из одного Хранилища в другое

Миграция данных

Настройка подключения к Закрома Хранение

Подключение к Закрома.Хранение

Таблица поддерживаемых методов AWS S3

Поддержка методов AWS S3

Описание возможностей масштабирования объёма хранения кластера