
При росте объема хранения масштабирование может быть осуществлено на двух уровнях:
- Ну уровне дисковой подсистемы (zds)
- На логическом уровне за счёт добавления дополнительных ресурсов хранения.

Первый способ может быть ограничен серверной инфраструктурой: например, возможностью подключить диск(и). Второй способ, напротив, не ограничен и может быть всегда использован.

## Масштабирование на уровне дисковой подсистемы

При использовании в качестве ресурса хранения **zds** (Zakroma data storage) рекомендуется объединять физические диски в volume group и логические вольюмы (lvm) для упрощения процедуры увеличения размера без необходимости ребаланса кластера Erasure coding. Следует учесть, что технология помехоустойчивого кодирования Erasure cooding не позволяет изменять соотношение частей данных и частей избыточности (data/parity) после начала использования.

![image](https://storage.yandexcloud.net/zakroma-ru/media/ed7c1298473e89e4031272625b1f7df0.png)

Применение этого метода не требует использование механизмов приложения, т.к. происходит на уровне нижележащей инфраструктуры и может быть произведено по инструкции используемых для этого сторонних компонент.

## Масштабирование на логическом уровне (приложения)

В любой момент можно расширить ёмкость хранения за счет добавления нового ресурса хранения (хранилища) и подключения его как новую группу хранения бакета.

Например, при использовании кластера `zds` в качестве основного хранилища данных бакета, при невозможности его расширения, вы можете создать второй кластер `zds` и подключить его в тот же бакет. Для S3-клиентов будет доступен суммарный объём двух кластеров таким образом, как если бы он был единый.

![image](https://storage.yandexcloud.net/zakroma-ru/media/ce294f070943452de9fdf248e2959fab.png)

**Для увеличения размера ёмкости хранения бакета в административной веб-консоли**:

1. [Хранилища](https://zakroma.ru/knowledgeBase/storage/article/storages?version=2.3) на странице `Хранилища`
2. Откройте вкладку `Настройка хранения` [бакета](https://zakroma.ru/knowledgeBase/storage/article/nastrojka-hraneniya-baketa?version=2.3).
3. Нажмите кнопку `+ Добавить группу хранения`
4. Выберите созданное на первом шаге хранилище и укажите путь в нём (при необходимости, иначе будет использован корень файловой системы).
5. При необходимости укажите ограничение на максимальный объём хранения для других групп хранения в параметрах группы. Это свойство учитывается для автоматического выбора при загрузке объекта вместе с приоритетом группы хранения (порядком следования в настройках хранения бакета).

## Классы хранения

При этом подключаемое хранилище может быть того же или  другого типа. Также это позволяет с помощью политик [Жизненный_цикл](https://zakroma.ru/knowledgeBase/storage/article/zhiznennyj-czikl?version=2.3) настроить оптимальное распределение объектов по подключенным хранилищам, относясь к ним как к классам хранения.

![image](https://storage.yandexcloud.net/zakroma-ru/media/03b52d1071536bda69ca0f13a4ad6f65.png)

Описание возможностей масштабирования объёма хранения кластера

Масштабирование объёма хранения

Использование

В данной статье описаны два способа подключения в Закрома Хранение:

1. PathStyle url
2. DnsStyle url (Virtual-hosted–style)

Подключение описано на примере популярного S3-клиента - [S3 Browser](https://s3browser.com/).

## Подключение к S3 с PathStyle url

### Параметры доступа по умолчанию

- Admin-ui: **host:8083**
- Keycloak: **host:8180**
- S3 endpoint (***БЕЗ TLS/SSL***):
  - при возможности прописать записи DNS:
    - `<WORKSPACE_NAME>.ps.<BASE_DOMAIN>`,
где **\<BASE_DOMAIN>** - dns имя хоста, <WORKSPACE_NAME> - имя рабочей области (тенанта).
  - без возможности внести записи в DNS (deprecated):
    - `host:8081/workspaces/<WORKSPACE_NAME>/s3`

### Для подключения необходимо:
1. Определить S3 endpoint (см. раздел выше)
2. [Добавить нужные права](https://zakroma.ru/knowledgeBase/storage/article/politiki-dostupa?version=2.3) на рабочую область или бакет.
3. Ключом доступа (aws_access_key_id) - служит логин пользователя
4. [Сгенерировать новый или скопировать существующий](https://zakroma.ru/knowledgeBase/storage/article/upravlenie-klyuchami-dostupa?version=2.3) ключ s3 для пользователя - что является секретным ключом(aws_secret_access_key).
5. Заполнить все необходимые для подключения поля
![image](https://storage.yandexcloud.net/zakroma-ru/media/43b8d3f87c34ac6754eeed1103c968c5.png)

> [!warning] Обязательно указать в настройках конфигурации Advanced settings, что используется **AwsV4Sign** и **Path Style**


![image](https://storage.yandexcloud.net/zakroma-ru/media/274ceee81ae75ae0d1c39f7d137ab151.png)

## Подключение к S3 с DnsStyle (Virtual-hosted–style)

#### Для подключения необходимо:
 
1. Настроить  Virtual-hosted–style. Подробнее о настройке можно прочитать [здесь](https://zakroma.ru/knowledgeBase/storage/article/nastrojka-virtual-hosted-style?version=2.3).
2. Сформировать правильный url:
 - **<workspaceName\>.<hostname\>.ru** 
 
 >[!info] **hostname** - это доменный путь до сервиса gateway;       **workspaceName** - это имя рабочей области

3. [Добавить нужные права](https://zakroma.ru/knowledgeBase/storage/article/buckets?version=2.3) на рабочую область или бакет.
4. Ключом доступа (aws_access_key_id) - служит логин пользователя
5. [Сгенерировать новый или скопировать существующий](https://zakroma.ru/knowledgeBase/storage/article/upravlenie-klyuchami-dostupa?version=2.3) ключ s3 для пользователя - что является секретным ключом(aws_secret_access_key)
6. Заполнить все необходимые для подключения поля
![image](https://storage.yandexcloud.net/zakroma-ru/media/a21cfd8ba4fb52c577e19422a729c575.png)

> [!warning] Обязательно указать в настройках конфигурации, что используется **AwsV4Sign** и  **Virtual hosted style** 


![image](https://storage.yandexcloud.net/zakroma-ru/media/949f63c91b0ee88472d2515a4835c246.png)

## Использование спецсимволов в ключах

> [!warning] Обратите внимание, что разные S3-клиенты могут по разному обрабатывать спецсимволы в ключах (именах) объектов.

Старайтесь избегать следующих спецсимволов:

- Вопросительный знак ("?")
- Плюс ("+")
- Решетка ("#")

## Возможные проблемы

- **Проблема**: В S3 Browser при получении списка объектов и загрузке файла ошибка 404 NotFound.
**Решение 1**: Убедитесь в корректности настройки метода подключения Virtual или Path style.
**Решение 2**: Если вы используете самоподписанные сертификаты, то c последних версий S3 Browser проверяет сертификаты и для работы с самоподписанными надо отключить эту проверку в настройках самого S3 Browser.

Настройка подключения к Закрома Хранение

Подключение к Закрома.Хранение

# Миграция данных


Миграция данных позволяет осуществить перенос данных бакета из одного [Хранилища](https://zakroma.ru/knowledgeBase/storage/article/storages?version=2.3) в другое без остановки бизнес приложений.

## С чего начать

1. Добавьте и проверьте доступность целевого хранилища (куда мигрируем) в списке на странице [Хранилища](https://zakroma.ru/knowledgeBase/storage/article/storages?version=2.3).
2. Откройте страницу настройки бакета, данные которого нужно перенести.
3. Откройте вкладку [Настройка_хранения_бакета](https://zakroma.ru/knowledgeBase/storage/article/nastrojka-hraneniya-baketa?version=2.3).

## Запуск миграции данных
1. На странице настройки хранения выберите хранилище, на котором лежат данные для миграции.
2. В контекстном меню (...) выберите пункт `Мигрировать данные`.
![image](https://storage.yandexcloud.net/zakroma-ru/media/18c92ee2987746bab9f0026c81b628bb.png)
3. С помощью активирования чекбокса  `Мигрировать в новую мирроринг группу` определите использовать существующую группу политик или создать новую.
![image](https://storage.yandexcloud.net/zakroma-ru/media/75fa15fa06aecd82237666e85524ca13.png)
4. В диалоговом окне введите имя группы,  хранилище и путь в хранилище
![image](https://storage.yandexcloud.net/zakroma-ru/media/58552fee7fd1dd77b87229af4a9c932e.png)
5. Нажмите кнопку `Мигрировать`.

## Процесс миграции
После нажатия кнопки `Мигрировать` начнётся процесс копирования данных. Отобразится сообщение об успешной миграции. 
![image](https://storage.yandexcloud.net/zakroma-ru/media/8d9aef55b96c010fa1283f196ed2308d.png)

Выбранная группа хранения будет отмечена как удаленная и будет недоступна для взаимодействия.
![image](https://storage.yandexcloud.net/zakroma-ru/media/f24522ade0ecbb80bac0be25703fa92f.png)

> [!info] Процесс миграции занимает неопределённое время и зависит от ряда параметров (скорость хранилищ, сетевая связанность, объём хранимых данных). При этом **клиентские приложения могут работать без остановки.** 

Все новые объекты будут записаны как в исходное хранилище, так и в новое. В процессе миграции, чтение происходит с исходного хранилища.

## Завершение миграции
После завершения миграции, старое хранилище будет отключено и убрано из интерфейса настройки хранения бакета. Чтение и запись новых объектов будет происходит с нового (целевого) хранилища.

> [!warning] Для исключения потери информации, данные на исходном хранилище остануться после завершения миграции и, при необходимости, должны быть удалены вручную.
## Возможные ошибки

При совершении миграции могут возникнуть следующие ошибки:
- **BlockingLink** (Блокирующие связи)

![image](https://storage.yandexcloud.net/zakroma-ru/media/594d35ed66fb2f93ddda3753e35db72d.png)

Данная ошибка сообщает о том, что миграция невозможна для групп хранения, т.к. она связана с правилами в разделе "Жизненный цикл".
- **TransportError** (Ошибка перемещения)

![image](https://storage.yandexcloud.net/zakroma-ru/media/7cb4458feb3a3e7f70da455a31b14c78.png)

Данная ошибка сообщает о том, что миграция невозможна т.к. выбранное хранилище в текущий момент недоступно. 

Перенос данных бакета из одного Хранилища в другое

Миграция данных

## Общий подход к отказоустойчивости

Отказоустойчивость — это способность системы сохранять свою работоспособность и доступность данных даже при выходе из строя одного или нескольких компонентов. В ЗАКРОМА.Хранение применяется комплексный подход к обеспечению отказоустойчивости:

- Уровень узлов (серверов): система спроектирована так, чтобы выдерживать отказы целых серверов без потери данных.
- Уровень дисков: Применение помехоустойчивого кодирования Erasure Coding позволяет минимизировать затраты на резервирование данных, сохраняя при этом высокую надежность.

## Отказоустойчивость на уровне узлов (серверов)

Каждый узел системы содержит набор сервисов (компонентов) системы. Сервисы системы не хранят состояние и могут быть запущены во множестве экземпляров на однотипных узлах. Это позволяет отключать (терять) узлы без потери работоспособности системы в целом. Состояние системы сохраняется в базе данных PostgreSQL, также запущенной в отказоустойчивом режиме средставми PostgreSQL.

## Отказоустойчивость на уровне дисков

ЗАКРОМА использует технологию **Erasure Coding**, которая значительно повышает эффективность использования дискового пространства при сохранении высокой надежности.

**Как работает Erasure Coding**:

1. Исходные данные разбиваются на фрагменты.
2. Для каждого фрагмента рассчитываются дополнительные контрольные части (parity chunks).
3. Все фрагменты и контрольные части распределяются по дискам разных узлов.
4. Если происходит сбой одного или нескольких дисков, система может восстановить потерянные фрагменты данных, используя оставшиеся фрагменты и контрольные части.

**Преимущества Erasure Coding**:

- Экономия дискового пространства по сравнению с полной репликацией.
- Высокая надежность: система может пережить одновременный сбой нескольких дисков.
- Гибкость: можно настроить количество фрагментов и контрольных частей в зависимости от требований к отказоустойчивости.

Отказоустойчивость

| Название операции                           | Тип поддержки                                             |
| ------------------------------------------- | --------------------------------------------------------- |
| AbortMultipartUpload                        | Полная                                                    |
| CompleteMultipartUpload                     | Полная                                                    |
| CopyObject                                  | Полная                                                    |
| CreateBucket                                | Полная                                                    |
| CreateMultipartUpload                       | Полная                                                    |
| DeleteBucket                                | Полная                                                    |
| DeleteBucketAnalyticsConfiguration          | Не поддерживается                                         |
| DeleteBucketCors                            | Полная                                                    |
| DeleteBucketEncryption                      | Планируется поддержка                                     |
| DeleteBucketIntelligentTieringConfiguration | Реализовано альтернативно                                 |
| DeleteBucketInventoryConfiguration          | Не поддерживается                                         |
| DeleteBucketLifecycle                       | Реализовано альтернативно                                 |
| DeleteBucketMetricsConfiguration            | Не поддерживается                                         |
| DeleteBucketOwnershipControls               | Не поддерживается                                         |
| DeleteBucketPolicy                          | [Реализовано альтернативно](https://zakroma.ru/knowledgeBase/storage/article/zhiznennyj-czikl\?version=2.3)           |
| DeleteBucketReplication                     | Не поддерживается                                         |
| DeleteBucketTagging                         | Планируется поддержка                                     |
| DeleteBucketWebsite                         | Планируется поддержка                                     |
| DeleteObject                                | Полная                                                    |
| DeleteObjects                               | Полная                                                    |
| DeleteObjectTagging                         | Полная                                                    |
| DeletePublicAccessBlock                     | Не поддерживается                                         |
| GetBucketAccelerateConfiguration            | Не поддерживается                                         |
| GetBucketAcl                                | Deprecated. Реализовано альтернативно                     |
| GetBucketAnalyticsConfiguration             | Не поддерживается                                         |
| GetBucketCors                               | Полная                                                    |
| GetBucketEncryption                         | Планируется поддержка                                     |
| GetBucketIntelligentTieringConfiguration    | Реализовано альтернативно                                 |
| GetBucketInventoryConfiguration             | Не поддерживается                                         |
| GetBucketLifecycle                          | Реализовано альтернативно                                 |
| GetBucketLifecycleConfiguration             | Реализовано альтернативно                                 |
| GetBucketLocation                           | Не поддерживается                                         |
| GetBucketLogging                            | Планируется поддержка                                     |
| GetBucketMetricsConfiguration               | Не поддерживается                                         |
| GetBucketNotification                       | Не поддерживается                                         |
| GetBucketNotificationConfiguration          | Не поддерживается                                         |
| GetBucketOwnershipControls                  | Не поддерживается                                         |
| GetBucketPolicy                             | [Реализовано альтернативно](https://zakroma.ru/knowledgeBase/storage/article/nastrojka-hraneniya-baketa\?version=2.3) |
| GetBucketPolicyStatus                       | [Реализовано альтернативно](https://zakroma.ru/knowledgeBase/storage/article/nastrojka-hraneniya-baketa\?version=2.3) |
| GetBucketReplication                        | Реализовано альтернативно                                 |
| GetBucketRequestPayment                     | Не поддерживается                                         |
| GetBucketTagging                            | Планируется поддержка                                     |
| GetBucketVersioning                         | Полная                                                    |
| GetBucketWebsite                            | Планируется поддержка                                     |
| GetObject                                   | Полная                                                    |
| GetObjectAcl                                | Deprecated. Реализовано альтернативно                     |
| GetObjectAttributes                         | Не поддерживается                                         |
| GetObjectLegalHold                          | Не поддерживается                                         |
| GetObjectLockConfiguration                  | Полная                                                    |
| GetObjectRetention                          | Планируется поддержка                                     |
| GetObjectTagging                            | Полная                                                    |
| GetObjectTorrent                            | Не поддерживается                                         |
| GetPublicAccessBlock                        | Не поддерживается                                         |
| HeadBucket                                  | Полная                                                    |
| HeadObject                                  | Полная                                                    |
| ListBucketAnalyticsConfigurations           | Не поддерживается                                         |
| ListBucketIntelligentTieringConfigurations  | Реализовано альтернативно                                 |
| ListBucketInventoryConfigurations           | Не поддерживается                                         |
| ListBucketMetricsConfigurations             | Не поддерживается                                         |
| ListBuckets                                 | Полная                                                    |
| ListMultipartUploads                        | Полная                                                    |
| ListObjects                                 | Полная, без URL Encoded                                   |
| ListObjectsV2                               | Полная, без URL Encoded                                   |
| ListObjectVersions                          | Полная, без URL Encoded                                   |
| ListParts                                   | Полная                                                    |
| PutBucketAccelerateConfiguration            | Не поддерживается                                         |
| PutBucketAcl                                | Deprecated. Реализовано альтернативно                     |
| PutBucketAnalyticsConfiguration             | Не поддерживается                                         |
| PutBucketCors                               | Полная                                                    |
| PutBucketEncryption                         | Планируется поддержка                                     |
| PutBucketIntelligentTieringConfiguration    | Реализовано альтернативно                                 |
| PutBucketInventoryConfiguration             | Не поддерживается                                         |
| PutBucketLifecycle                          | Реализовано альтернативно                                 |
| PutBucketLifecycleConfiguration             | Реализовано альтернативно                                 |
| PutBucketLogging                            | Планируется поддержка                                     |
| PutBucketMetricsConfiguration               | Не поддерживается                                         |
| PutBucketNotification                       | Не поддерживается                                         |
| PutBucketNotificationConfiguration          | Не поддерживается                                         |
| PutBucketOwnershipControls                  | Не поддерживается                                         |
| PutBucketPolicy                             | [Реализовано альтернативно](https://zakroma.ru/knowledgeBase/storage/article/nastrojka-hraneniya-baketa\?version=2.4) |
| PutBucketReplication                        | Реализовано альтернативно                                 |
| PutBucketRequestPayment                     | Не поддерживается                                         |
| PutBucketTagging                            | Планируется поддержка                                     |
| PutBucketVersioning                         | Полная                                                    |
| PutBucketWebsite                            | Планируется поддержка                                     |
| PutObject                                   | Полная                                                    |
| PutObjectAcl                                | Deprecated. Реализовано альтернативно                     |
| PutObjectLegalHold                          | Полная                                                    |
| PutObjectLockConfiguration                  | Полная                                                    |
| PutObjectRetention                          | Планируется поддержка                                     |
| PutObjectTagging                            | Полная                                                    |
| PutPublicAccessBlock                        | Планируется поддержка                                     |
| RestoreObject                               | Планируется поддержка                                     |
| SelectObjectContent                         | Планируется поддержка                                     |
| S3Select                                    | Полная                                                    |
| UploadPart                                  | Полная                                                    |
| UploadPartCopy                              | Планируется поддержка                                     |
| WriteGetObjectResponse                      | Планируется поддержка                                     |

Таблица поддерживаемых методов AWS S3

Поддержка методов AWS S3

Расчет требований к инфраструктуре

Требования

Описание общей архитектуры решения и компонент

Архитектура решения

Первые шаги в приложении

Начало работы

С чего начать

Установка через ansible

Бинарные пакеты

Подготовка инфраструктуры

Установка helm-чартами

Контейнеры

Настройка Keycloak

Настройка Virtual-hosted–style

Self signed ssl certificate

Настройка Zakroma.Storage (ZDS)

Метрики

Настройка PostgreSQL

Окружение

Установка

Описание работы страницы с операциями

Операции

CLI (Command Line Interface, zcli)

Отслеживание задач и статуса системы

Мониторинг

Шардирование

Удаление бакета

Версионирование бакета

Версионирование

Подключение ресурса хранения

Хранилища

CORS

Просмотр бакета

Описание типов хранилищ

Тип Хранилища

Как создавать и настраивать бакеты

Бакет (bucket)

Публичные бакеты

Управление рабочими областями

Рабочие области

Настройка хранения

Профиль пользователя

Администраторы workspace/bucket

Редактирование информации о пользователях

Пользователи

Группы пользователей

Фильтрация по IP

Политики доступа предназначены для создания правил разграничения доступа пользователей к операциям S3.

Политики доступа

Роли

Управление ключами доступа

Доступ

Принцип работы кластерного режима

Мультикластер

Включение кластерного режима

Добавление кластера

Управление

Как подключить хранилище с уже имеющимися данными в нем

Подключение хранилища с данными

Политика Зеркалирование позволяет настроить синхронную и асинхронную репликацию бакета

Зеркалирование

Механизм оповещения других систем о событиях в хранилище.

Webhooks

Политика Расширение позволяет объединить несколько ресурсов хранения

Расширение

Путь хранения объектов бакета на подключенном хранилище

Формирование пути хранения данных

Правила жизненного цикла данных