### ЗАКРОМА.Хранение 

ЗАКРОМА.Хранение представляет собой гибридное объектное хранилище, совместимое с S3 API.
Решение построено на микросервисной архитектуре для возможности масштабирования и высокой отказоустойчивости.

Отличительными особенностями решения является поддержка различных ресурсов хранения (сервера с дисками, другие S3, СХД, ленты, файловые системы) и возможность мгновенного расширения за счёт любого доступного ресурса хранения. Эта возможность обеспечивается за счет разделения управляющего слоя и слоя хранения. Благодаря такому подходу, решение поддерживает возможность создать неограниченное число классов хранения и объединить различные ресурсы хранения под одной крышей.

### Компоненты приложения

![image](https://storage.yandexcloud.net/zakroma-ru/media/402ae012071ee36ce4bf8afa73e58c65.png)

- **Gateway** -  сервис проверки входящего http(s) запроса, валидация, аутентификация с keycloak, авторизация и перенаправление запроса в целевой сервис.
- **Keycloak** – сервис получения списка пользователей, групп, интеграция с AD/SSO, аутентификация.
- **Core** **-** сервис хранения информации о структуре хранилища. Кэширует и обновляет управляющую информацию в БД.
- **Worker** – сервис работы с объектами. Обеспечивает работу с шардом БД.
- **Composer** – сервис управления, агрегирует информацию от Core и Worker, распределяет нагрузку по нескольким шардам БД.
- **Admin** **UI** – фронт-энд административной web-консоли для управления приложением. Взаимодействует с остальными сервисами через Gateway.
- **Zakroma Data Strorage (ZDS)** – Слой хранения поверх дисков с применением Erasure coding. Может быть развёрнут на серверах приложения или отдельно.
- **PostgreSQL** – хранение информации о структуре хранилища, объектах и метаданных объектов, политиках хранения, политиках доступа, настройках,  подключенных хранилищах. При росте количества объектов база данных шардируется средствами приложения и информация перераспределяется между шардами.
- **Kafka (опционально) -** менеджер очередей сообщений. Используется для записи аудит лога, механизма вебхуков и работы в мультикластерном режиме. Kafka позволяет включить этот функционал без потери производительности, обеспечивая асинхронное взаимодействие.

### Установка и обновление

Установка, масштабирование и обновление происходит за счет автоматизации:
- в варианте бинарных пакетов - с помощью [Ansible-ролей](https://zakroma.ru/knowledgeBase/storage/article/ustanovka-cherez-ansible-role?version=2.5).
- в контейнерном варианте - с помощью [Helm-chart](https://zakroma.ru/knowledgeBase/storage/article/ustanovka-s-kontejnerami?version=2.5).

### API

Хранилище обладает следующими интерфейсами:
·      [S3 API](https://zakroma.ru/knowledgeBase/storage/article/podderzhka-metodov-aws-s3?version=2.5) – основное API в соответствии с AWS S3.
·      REST API – управляющее API. Используется в Admin UI и для автоматизации.
·      CLI – командный интерфейс. Более полная поддержка операций через собственное консольное приложение [zcli](https://zakroma.ru/knowledgeBase/storage/article/cli?version=2.5).

### Управление доступом

В ЗАКРОМА используется сервис Keycloak, который позволяет настроить интеграцию с корпоративной службой каталогов AD/SSO. Это позволяет использовать для администрирования пользователей и группы пользователей из корпоративной системы управления пользователями.

В системе различается управление доступом по видам:
·      **Администраторы приложения**. 
Для администраторов приложения можно создать и указать роли, ограничивающие доступ на операции в консоли администрирования. Это позволяет выделить ограниченных в правах администраторов, например, выделить роль «Сотрудник по ИБ» и разрешить ему доступ только к журналу операций. На уровне рабочих областей (тенантов) и бакетов можно назначить локальных администраторов для этих объектов.
·      **Пользователи S3**. 
Для использования S3 API у пользователя должен быть действующий access/secret token, а также права доступа на операции, указанные в Политике доступа для соответствующей рабочей области (тенанта) или бакета.

Управление политиками доступа обеспечивает гораздо более широкие возможности для настройки прав доступа, чем устаревшие списки доступа ACL.

### Мониторинг

Встроенный мониторинг позволяет проанализировать работу фоновых процессов в хранилище. Для мониторинга нагрузки на хранилище в разрезе операций, тенантов и бакетов и другие метрики можно использовать стек Prometheus/Grafana. Для Grafana поставляются преднастроенные дашборды.

### Мультикластерный режим работы

Ниже на схеме представлена концептуальная архитектурная схема работы решения, развёрнутого в двух датацентрах:

![image](https://storage.yandexcloud.net/zakroma-ru/media/8c340911088108a7ac7f8de460809221.png)

Каждый кластер обменивается событиями и объектами по реплицируемым рабочим областям (тенантам) или реплицируемым бакетам.

Каждый из кластеров может иметь собственные, отличающиеся политики хранения.

Описание общей архитектуры решения и компонент

Архитектура решения

С чего начать

## Среда развёртывания

> [!info] Варианты развертывания
> Решение может быть развернуто в различных вариантах:
> - В виде rpm/deb пакетов под ОС linux на физических или виртуальных машинах.
>- В виде контейнеров в среде управления docker-контейнерами (Kubernetes, OpenShift).  Для небольших инсталляций достаточно Docker или Podman.

Поддерживаются отечественные дистрибутивы Linux, входящие в реестр российского ПО, такие, как РЭД ОС, ROSA, AltLinux, Astra.

Смотрите [Установка через Ansible](https://zakroma.ru/knowledgeBase/storage/article/ustanovka-cherez-ansible-role?version=2.5).

Поддерживаются отечественные дистрибутивы Kubernetes - DeckHouse, Боцман Клик, Штурвал.

Смотрите [Установка helm-чартами](https://zakroma.ru/knowledgeBase/storage/article/ustanovka-s-kontejnerami?version=2.5).

## Требования к инфраструктуре

Требования к инфраструктуре зависят от следующих требований:
- Требования к производительности, RPS (request per second).
- Требования к отказоустойчивости.

Ориентировочные параметры инфраструктуры для нагрузки **1000 RPS**:

| Сервис           | vCPU | RAM | DISK       |
| ---------------- | ---- | --- | ---------- |
| Закрома.Хранение | 8    | 16  | -          |
| PostgreSQL       | 8    | 16  | 100 ГБ SSD |

> При увеличении нагрузки, количество контейнеров Закрома.Хранение надо кратно увеличить до достижения необходимых значений RPS.


Для работы системы мониторинга, необходимо развернуть ELK+Prometheus+Grafana (или другие корпоративные инструменты мониторинга). Рекомендуемые параметры:

| Сервис							| vCPU 			| RAM				| DISK |
|----------						|----------	|----------|-----	|
| ELK    							| 5      		| 12      |		100 ГБ HDD	|
| Prometheus+Grafana	| 2      		| 4      |		10 ГБ HDD	|

Расчет требований к инфраструктуре

Требования


1. Ознакомьтесь с [требованиями к инфраструктуре](https://zakroma.ru/knowledgeBase/storage/article/trebovaniya-zakroma-storage?version=2.5).
2. Выберите подходящий [вариант установки приложения](https://zakroma.ru/knowledgeBase/storage/articles/1).
3. Настройте [окружение](https://zakroma.ru/knowledgeBase/storage/articles/17) и установите приложение.
4. Чтобы начать работу, создайте [Рабочую область](https://zakroma.ru/knowledgeBase/storage/article/rabochie-oblasti?version=2.5) и первый [бакет](https://zakroma.ru/knowledgeBase/storage/article/buckets?version=2.5) в Консоли Администрирования. 
5. Произведите базовую [настройку хранения](https://zakroma.ru/knowledgeBase/storage/article/nastrojka-hraneniya-baketa?version=2.5) данных этого бакета.
6. Чтобы начать работу, создайте [Рабочую область](https://zakroma.ru/knowledgeBase/storage/article/rabochie-oblasti?version=2.5) и первый [бакет](https://zakroma.ru/knowledgeBase/storage/article/buckets?version=2.5) в Консоли Администрирования. 
7. Проверьте [настройку прав доступа](https://zakroma.ru/knowledgeBase/storage/article/politiki-dostupa?version=2.5) к рабочей области и бакету. 
8. Проверьте возможность работы с бакетом, используя любой S3-клиент, например,  [S3 Browser](https://s3browser.com/).


Первые шаги в приложении

Начало работы

Описание типовой установки в 1 кластере

Установка базового кластера

Установка через ansible

Подготовка окружения к установке

Установка тестовой инсталляции на 1 сервере

Установка на 1 сервере (Single Node)

Установка варианта с мультикластером

Бинарные пакеты

Установка helm-чартами

Подготовка инфраструктуры

Контейнеры

Настройка PostgreSQL

Метрики

Настройка Virtual-hosted–style

Настройка Zakroma.Storage (ZDS)

Настройка Keycloak

Self signed ssl certificate

Окружение

Установка

Отслеживание задач и статуса системы

Мониторинг

Описание работы страницы с операциями

Операции

CLI (Command Line Interface, zcli)

Шардирование

Описание типов хранилищ

Тип Хранилища

CORS

Просмотр бакета

Публичные бакеты

Как создавать и настраивать бакеты

Бакет (bucket)

Управление рабочими областями

Рабочие области

Подключение ресурса хранения

Хранилища

Версионирование бакета

Версионирование

Удаление бакета

Настройка хранения

Профиль пользователя

Группы пользователей

Администраторы workspace/bucket

Редактирование информации о пользователях

Пользователи

Управление ключами доступа

Роли

Фильтрация по IP

Политики доступа предназначены для создания правил разграничения доступа пользователей к операциям S3.

Политики доступа

Доступ

Включение кластерного режима

Добавление кластера

Принцип работы кластерного режима

Мультикластер

Настройка конфигурации для kubernetes

Настройка конфигурации для пакетов

Управление

Политика Зеркалирование позволяет настроить синхронную и асинхронную репликацию бакета

Зеркалирование

Механизм оповещения других систем о событиях в хранилище.

Webhooks

Путь хранения объектов бакета на подключенном хранилище

Формирование пути хранения данных

Политика Расширение позволяет объединить несколько ресурсов хранения

Расширение

Как подключить хранилище с уже имеющимися данными в нем

Подключение хранилища с данными

Правила жизненного цикла данных

Жизненный цикл

Политики хранения

Описание возможностей масштабирования объёма хранения кластера

Масштабирование объёма хранения

Краткое описание схемы работы Erasure Coding

Миграция данных

Таблица поддерживаемых методов AWS S3

Поддержка методов AWS S3

Отказоустойчивость

Как загружать, скачивать, синхронизировать, удалять и просматривать объекты через S3 Browser

Пример работы c S3 через S3 Browser

Настройка подключения к Закрома Хранение

Подключение к Закрома.Хранение

Работа с S3 Browser

Использование

Что изменилось в приложении в текущем релизе