| Название операции                           | Тип поддержки                                                                                   |
| ------------------------------------------- | ----------------------------------------------------------------------------------------------- |
| AbortMultipartUpload                        | Полная                                                                                          |
| CompleteMultipartUpload                     | Полная                                                                                          |
| CopyObject                                  | Полная                                                                                          |
| CreateBucket                                | Полная                                                                                          |
| CreateMultipartUpload                       | Полная                                                                                          |
| DeleteBucket                                | Полная                                                                                          |
| DeleteBucketAnalyticsConfiguration          | Не поддерживается                                                                               |
| DeleteBucketCors                            | Полная                                                                                          |
| DeleteBucketEncryption                      | Планируется поддержка                                                                           |
| DeleteBucketIntelligentTieringConfiguration | Реализовано альтернативно                                                                       |
| DeleteBucketInventoryConfiguration          | Не поддерживается                                                                               |
| DeleteBucketLifecycle                       | Реализовано альтернативно                                                                       |
| DeleteBucketMetricsConfiguration            | Не поддерживается                                                                               |
| DeleteBucketOwnershipControls               | Не поддерживается                                                                               |
| DeleteBucketPolicy                          | [Реализовано альтернативно](https://zakroma.ru/knowledgeBase/storage/article/zhiznennyj-czikl\?version=2.2)           |
| DeleteBucketReplication                     | Не поддерживается                                                                               |
| DeleteBucketTagging                         | Планируется поддержка                                                                           |
| DeleteBucketWebsite                         | Планируется поддержка                                                                           |
| DeleteObject                                | Полная                                                                                          |
| DeleteObjects                               | Полная                                                                                          |
| DeleteObjectTagging                         | Полная                                                                                          |
| DeletePublicAccessBlock                     | Не поддерживается                                                                               |
| GetBucketAccelerateConfiguration            | Не поддерживается                                                                               |
| GetBucketAcl                                | Deprecated. Реализовано альтернативно                                                           |
| GetBucketAnalyticsConfiguration             | Не поддерживается                                                                               |
| GetBucketCors                               | Полная                                                                                          |
| GetBucketEncryption                         | Планируется поддержка                                                                           |
| GetBucketIntelligentTieringConfiguration    | Реализовано альтернативно                                                                       |
| GetBucketInventoryConfiguration             | Не поддерживается                                                                               |
| GetBucketLifecycle                          | Реализовано альтернативно                                                                       |
| GetBucketLifecycleConfiguration             | Реализовано альтернативно                                                                       |
| GetBucketLocation                           | Не поддерживается                                                                               |
| GetBucketLogging                            | Планируется поддержка                                                                           |
| GetBucketMetricsConfiguration               | Не поддерживается                                                                               |
| GetBucketNotification                       | Не поддерживается                                                                               |
| GetBucketNotificationConfiguration          | Не поддерживается                                                                               |
| GetBucketOwnershipControls                  | Не поддерживается                                                                               |
| GetBucketPolicy                             | [Реализовано альтернативно](https://zakroma.ru/knowledgeBase/storage/article/nastrojka-hraneniya-baketa\?version=2.2) |
| GetBucketPolicyStatus                       | [Реализовано альтернативно](https://zakroma.ru/knowledgeBase/storage/article/nastrojka-hraneniya-baketa\?version=2.2) |
| GetBucketReplication                        | Реализовано альтернативно                                                                       |
| GetBucketRequestPayment                     | Не поддерживается                                                                               |
| GetBucketTagging                            | Планируется поддержка                                                                           |
| GetBucketVersioning                         | Полная                                                                                          |
| GetBucketWebsite                            | Планируется поддержка                                                                           |
| GetObject                                   | Полная                                                                                          |
| GetObjectAcl                                | Deprecated. Реализовано альтернативно                                                           |
| GetObjectAttributes                         | Не поддерживается                                                                               |
| GetObjectLegalHold                          | Не поддерживается                                                                               |
| GetObjectLockConfiguration                  | Полная                                                                                          |
| GetObjectRetention                          | Планируется поддержка                                                                           |
| GetObjectTagging                            | Полная                                                                                          |
| GetObjectTorrent                            | Не поддерживается                                                                               |
| GetPublicAccessBlock                        | Не поддерживается                                                                               |
| HeadBucket                                  | Полная                                                                                          |
| HeadObject                                  | Полная                                                                                          |
| ListBucketAnalyticsConfigurations           | Не поддерживается                                                                               |
| ListBucketIntelligentTieringConfigurations  | Реализовано альтернативно                                                                       |
| ListBucketInventoryConfigurations           | Не поддерживается                                                                               |
| ListBucketMetricsConfigurations             | Не поддерживается                                                                               |
| ListBuckets                                 | Полная                                                                                          |
| ListMultipartUploads                        | Полная                                                                                          |
| ListObjects                                 | Полная, без URL Encoded                                                                         |
| ListObjectsV2                               | Полная, без URL Encoded                                                                         |
| ListObjectVersions                          | Полная, без URL Encoded                                                                         |
| ListParts                                   | Полная                                                                                          |
| PutBucketAccelerateConfiguration            | Не поддерживается                                                                               |
| PutBucketAcl                                | Deprecated. Реализовано альтернативно                                                           |
| PutBucketAnalyticsConfiguration             | Не поддерживается                                                                               |
| PutBucketCors                               | Полная                                                                                          |
| PutBucketEncryption                         | Планируется поддержка                                                                           |
| PutBucketIntelligentTieringConfiguration    | Реализовано альтернативно                                                                       |
| PutBucketInventoryConfiguration             | Не поддерживается                                                                               |
| PutBucketLifecycle                          | Реализовано альтернативно                                                                       |
| PutBucketLifecycleConfiguration             | Реализовано альтернативно                                                                       |
| PutBucketLogging                            | Планируется поддержка                                                                           |
| PutBucketMetricsConfiguration               | Не поддерживается                                                                               |
| PutBucketNotification                       | Не поддерживается                                                                               |
| PutBucketNotificationConfiguration          | Не поддерживается                                                                               |
| PutBucketOwnershipControls                  | Не поддерживается                                                                               |
| PutBucketPolicy                             | [Реализовано альтернативно](https://zakroma.ru/knowledgeBase/storage/article/nastrojka-hraneniya-baketa\?version=2.4) |
| PutBucketReplication                        | Реализовано альтернативно                                                                       |
| PutBucketRequestPayment                     | Не поддерживается                                                                               |
| PutBucketTagging                            | Планируется поддержка                                                                           |
| PutBucketVersioning                         | Полная                                                                                          |
| PutBucketWebsite                            | Планируется поддержка                                                                           |
| PutObject                                   | Полная                                                                                          |
| PutObjectAcl                                | Deprecated. Реализовано альтернативно                                                           |
| PutObjectLegalHold                          | Полная                                                                                          |
| PutObjectLockConfiguration                  | Полная                                                                                          |
| PutObjectRetention                          | Планируется поддержка                                                                           |
| PutObjectTagging                            | Полная                                                                                          |
| PutPublicAccessBlock                        | Планируется поддержка                                                                           |
| RestoreObject                               | Планируется поддержка                                                                           |
| SelectObjectContent                         | Планируется поддержка                                                                           |
| S3Select                                    | Полная                                                                                          |
| UploadPart                                  | Полная                                                                                          |
| UploadPartCopy                              | Планируется поддержка                                                                           |
| WriteGetObjectResponse                      | Планируется поддержка                                                                           |

Таблица поддерживаемых методов AWS S3

Поддержка методов AWS S3

Использование


При росте объема хранения масштабирование может быть осуществлено на двух уровнях:
- Ну уровне дисковой подсистемы (zds)
- На логическом уровне за счёт добавления дополнительных ресурсов хранения.

Первый способ может быть ограничен серверной инфраструктурой: например, возможностью подключить диск(и). Второй способ, напротив, не ограничен и может быть всегда использован.

## Масштабирование на уровне дисковой подсистемы

При использовании в качестве ресурса хранения **zds** (Zakroma data storage) рекомендуется объединять физические диски в volume group и логические вольюмы (lvm) для упрощения процедуры увеличения размера без необходимости ребаланса кластера Erasure coding. Следует учесть, что технология помехоустойчивого кодирования Erasure cooding не позволяет изменять соотношение частей данных и частей избыточности (data/parity) после начала использования.

![image](https://storage.yandexcloud.net/zakroma-ru/media/ed7c1298473e89e4031272625b1f7df0.png)

Применение этого метода не требует использование механизмов приложения, т.к. происходит на уровне нижележащей инфраструктуры и может быть произведено по инструкции используемых для этого сторонних компонент.

## Масштабирование на логическом уровне (приложения)

В любой момент можно расширить ёмкость хранения за счет добавления нового ресурса хранения (хранилища) и подключения его как новую группу хранения бакета.

Например, при использовании кластера `zds` в качестве основного хранилища данных бакета, при невозможности его расширения, вы можете создать второй кластер `zds` и подключить его в тот же бакет. Для S3-клиентов будет доступен суммарный объём двух кластеров таким образом, как если бы он был единый.

![image](https://storage.yandexcloud.net/zakroma-ru/media/ce294f070943452de9fdf248e2959fab.png)

**Для увеличения размера ёмкости хранения бакета в административной веб-консоли**:

1. [Хранилища](https://zakroma.ru/knowledgeBase/storage/article/storages?version=2.2) на странице `Хранилища`
2. Откройте вкладку `Настройка хранения` [бакета](https://zakroma.ru/knowledgeBase/storage/article/nastrojka-hraneniya-baketa?version=2.2).
3. Нажмите кнопку `+ Добавить группу хранения`
4. Выберите созданное на первом шаге хранилище и укажите путь в нём (при необходимости, иначе будет использован корень файловой системы).
5. При необходимости укажите ограничение на максимальный объём хранения для других групп хранения в параметрах группы. Это свойство учитывается для автоматического выбора при загрузке объекта вместе с приоритетом группы хранения (порядком следования в настройках хранения бакета).

## Классы хранения

При этом подключаемое хранилище может быть того же или  другого типа. Также это позволяет с помощью политик [Жизненный_цикл](https://zakroma.ru/knowledgeBase/storage/article/zhiznennyj-czikl?version=2.2) настроить оптимальное распределение объектов по подключенным хранилищам, относясь к ним как к классам хранения.

![image](https://storage.yandexcloud.net/zakroma-ru/media/03b52d1071536bda69ca0f13a4ad6f65.png)

Описание возможностей масштабирования объёма хранения кластера

Масштабирование объёма хранения

## Общий подход к отказоустойчивости

Отказоустойчивость — это способность системы сохранять свою работоспособность и доступность данных даже при выходе из строя одного или нескольких компонентов. В ЗАКРОМА.Хранение применяется комплексный подход к обеспечению отказоустойчивости:

- Уровень узлов (серверов): система спроектирована так, чтобы выдерживать отказы целых серверов без потери данных.
- Уровень дисков: Применение помехоустойчивого кодирования Erasure Coding позволяет минимизировать затраты на резервирование данных, сохраняя при этом высокую надежность.

## Отказоустойчивость на уровне узлов (серверов)

Каждый узел системы содержит набор сервисов (компонентов) системы. Сервисы системы не хранят состояние и могут быть запущены во множестве экземпляров на однотипных узлах. Это позволяет отключать (терять) узлы без потери работоспособности системы в целом. Состояние системы сохраняется в базе данных PostgreSQL, также запущенной в отказоустойчивом режиме средставми PostgreSQL.

## Отказоустойчивость на уровне дисков

ЗАКРОМА использует технологию **Erasure Coding**, которая значительно повышает эффективность использования дискового пространства при сохранении высокой надежности.

**Как работает Erasure Coding**:

1. Исходные данные разбиваются на фрагменты.
2. Для каждого фрагмента рассчитываются дополнительные контрольные части (parity chunks).
3. Все фрагменты и контрольные части распределяются по дискам разных узлов.
4. Если происходит сбой одного или нескольких дисков, система может восстановить потерянные фрагменты данных, используя оставшиеся фрагменты и контрольные части.

**Преимущества Erasure Coding**:

- Экономия дискового пространства по сравнению с полной репликацией.
- Высокая надежность: система может пережить одновременный сбой нескольких дисков.
- Гибкость: можно настроить количество фрагментов и контрольных частей в зависимости от требований к отказоустойчивости.

Отказоустойчивость

# Миграция данных


Миграция данных позволяет осуществить перенос данных бакета из одного [Хранилища](https://zakroma.ru/knowledgeBase/storage/article/storages?version=2.2) в другое без остановки бизнес приложений.

## С чего начать

1. Добавьте и проверьте доступность целевого хранилища (куда мигрируем) в списке на странице [Хранилища](https://zakroma.ru/knowledgeBase/storage/article/storages?version=2.2).
2. Откройте страницу настройки бакета, данные которого нужно перенести.
3. Откройте вкладку [Настройка_хранения_бакета](https://zakroma.ru/knowledgeBase/storage/article/nastrojka-hraneniya-baketa?version=2.2).

## Запуск миграции данных
1. На странице настройки хранения выберите хранилище, на котором лежат данные для миграции.
2. В контекстном меню (...) выберите пункт `Мигрировать данные`.
![image](https://storage.yandexcloud.net/zakroma-ru/media/18c92ee2987746bab9f0026c81b628bb.png)
3. С помощью активирования чекбокса  `Мигрировать в новую мирроринг группу` определите использовать существующую группу политик или создать новую.
![image](https://storage.yandexcloud.net/zakroma-ru/media/75fa15fa06aecd82237666e85524ca13.png)
4. В диалоговом окне введите имя группы,  хранилище и путь в хранилище
![image](https://storage.yandexcloud.net/zakroma-ru/media/58552fee7fd1dd77b87229af4a9c932e.png)
5. Нажмите кнопку `Мигрировать`.

## Процесс миграции
После нажатия кнопки `Мигрировать` начнётся процесс копирования данных. Отобразится сообщение об успешной миграции. 
![image](https://storage.yandexcloud.net/zakroma-ru/media/8d9aef55b96c010fa1283f196ed2308d.png)

Выбранная группа хранения будет отмечена как удаленная и будет недоступна для взаимодействия.
![image](https://storage.yandexcloud.net/zakroma-ru/media/f24522ade0ecbb80bac0be25703fa92f.png)

> [!info] Процесс миграции занимает неопределённое время и зависит от ряда параметров (скорость хранилищ, сетевая связанность, объём хранимых данных). При этом **клиентские приложения могут работать без остановки.** 

Все новые объекты будут записаны как в исходное хранилище, так и в новое. В процессе миграции, чтение происходит с исходного хранилища.

## Завершение миграции
После завершения миграции, старое хранилище будет отключено и убрано из интерфейса настройки хранения бакета. Чтение и запись новых объектов будет происходит с нового (целевого) хранилища.

> [!warning] Для исключения потери информации, данные на исходном хранилище остануться после завершения миграции и, при необходимости, должны быть удалены вручную.
## Возможные ошибки

При совершении миграции могут возникнуть следующие ошибки:
- **BlockingLink** (Блокирующие связи)

![image](https://storage.yandexcloud.net/zakroma-ru/media/594d35ed66fb2f93ddda3753e35db72d.png)

Данная ошибка сообщает о том, что миграция невозможна для групп хранения, т.к. она связана с правилами в разделе "Жизненный цикл".
- **TransportError** (Ошибка перемещения)

![image](https://storage.yandexcloud.net/zakroma-ru/media/7cb4458feb3a3e7f70da455a31b14c78.png)

Данная ошибка сообщает о том, что миграция невозможна т.к. выбранное хранилище в текущий момент недоступно. 

Перенос данных бакета из одного Хранилища в другое

Миграция данных

В данной статье описаны два способа подключения в Закрома Хранение:

1. PathStyle url
2. DnsStyle url (Virtual-hosted–style)

Подключение описано на примере популярного S3-клиента - [S3 Browser](https://s3browser.com/).

## Подключение к S3 с PathStyle url

### Параметры доступа по умолчанию

- Admin-ui: **host:8083**
- Keycloak: **host:8180**
- S3 endpoint (***БЕЗ TLS/SSL***):
  - при возможности прописать записи DNS:
    - `<WORKSPACE_NAME>.ps.<BASE_DOMAIN>`,
где **\<BASE_DOMAIN>** - dns имя хоста, <WORKSPACE_NAME> - имя рабочей области (тенанта).
  - без возможности внести записи в DNS (deprecated):
    - `host:8081/workspaces/<WORKSPACE_NAME>/s3`

### Для подключения необходимо:
1. Определить S3 endpoint (см. раздел выше)
2. [Добавить нужные права](https://zakroma.ru/knowledgeBase/storage/article/politiki-dostupa?version=2.2) на рабочую область или бакет.
3. Ключом доступа (aws_access_key_id) - служит логин пользователя
4. [Сгенерировать новый или скопировать существующий](https://zakroma.ru/knowledgeBase/storage/article/upravlenie-klyuchami-dostupa?version=2.2) ключ s3 для пользователя - что является секретным ключом(aws_secret_access_key).
5. Заполнить все необходимые для подключения поля
![image](https://storage.yandexcloud.net/zakroma-ru/media/43b8d3f87c34ac6754eeed1103c968c5.png)

> [!warning] Обязательно указать в настройках конфигурации Advanced settings, что используется **AwsV4Sign** и **Path Style**


![image](https://storage.yandexcloud.net/zakroma-ru/media/274ceee81ae75ae0d1c39f7d137ab151.png)

## Подключение к S3 с DnsStyle (Virtual-hosted–style)

#### Для подключения необходимо:
 
1. Настроить  Virtual-hosted–style. Подробнее о настройке можно прочитать [здесь](https://zakroma.ru/knowledgeBase/storage/article/nastrojka-virtual-hosted-style?version=2.2).
2. Сформировать правильный url:
 - **<workspaceName\>.<hostname\>.ru** 
 
 >[!info] **hostname** - это доменный путь до сервиса gateway;       **workspaceName** - это имя рабочей области

3. [Добавить нужные права](https://zakroma.ru/knowledgeBase/storage/article/buckets?version=2.2) на рабочую область или бакет.
4. Ключом доступа (aws_access_key_id) - служит логин пользователя
5. [Сгенерировать новый или скопировать существующий](https://zakroma.ru/knowledgeBase/storage/article/upravlenie-klyuchami-dostupa?version=2.2) ключ s3 для пользователя - что является секретным ключом(aws_secret_access_key)
6. Заполнить все необходимые для подключения поля
![image](https://storage.yandexcloud.net/zakroma-ru/media/a21cfd8ba4fb52c577e19422a729c575.png)

> [!warning] Обязательно указать в настройках конфигурации, что используется **AwsV4Sign** и  **Virtual hosted style** 


![image](https://storage.yandexcloud.net/zakroma-ru/media/949f63c91b0ee88472d2515a4835c246.png)

## Использование спецсимволов в ключах

> [!warning] Обратите внимание, что разные S3-клиенты могут по разному обрабатывать спецсимволы в ключах (именах) объектов.

Старайтесь избегать следующих спецсимволов:

- Вопросительный знак ("?")
- Плюс ("+")
- Решетка ("#")

## Возможные проблемы

- **Проблема**: В S3 Browser при получении списка объектов и загрузке файла ошибка 404 NotFound.
**Решение 1**: Убедитесь в корректности настройки метода подключения Virtual или Path style.
**Решение 2**: Если вы используете самоподписанные сертификаты, то c последних версий S3 Browser проверяет сертификаты и для работы с самоподписанными надо отключить эту проверку в настройках самого S3 Browser.

Настройка подключения к Закрома Хранение

Подключение к Закрома.Хранение

Расчет требований к инфраструктуре

Требования

Первые шаги в приложении

Начало работы

С чего начать

Установка через ansible

Бинарные пакеты

Подготовка инфраструктуры

Установка helm-чартами

Контейнеры

Настройка Zakroma.Storage (ZDS)

Настройка Keycloak

Настройка Virtual-hosted–style

Настройка PostgreSQL

Self signed ssl certificate

Метрики

Окружение

Установка

Описание работы страницы с операциями

Операции

Отслеживание задач и статуса системы

Мониторинг

CLI (Command Line Interface, zcli)

CORS

Подключение ресурса хранения

Хранилища

Просмотр бакета

Управление рабочими областями

Рабочие области

Как создавать и настраивать бакеты

Бакет (bucket)

Публичные бакеты

Шардирование

Описание типов хранилищ

Тип Хранилища

Удаление бакета

Версионирование бакета

Версионирование

Настройка хранения

Политики доступа предназначены для создания правил разграничения доступа пользователей к операциям S3.

Политики доступа

Редактирование информации о пользователях

Пользователи

Роли

Администраторы workspace/bucket

Профиль пользователя

Управление ключами доступа

Фильтрация по IP

Группы пользователей

Доступ

Принцип работы кластерного режима

Мультикластер

Включение кластерного режима

Добавление кластера

Управление

Механизм оповещения других систем о событиях в хранилище.

Webhooks

Как подключить хранилище с уже имеющимися данными в нем

Подключение хранилища с данными

Путь хранения объектов бакета на подключенном хранилище

Формирование пути хранения данных

Правила жизненного цикла данных

Жизненный цикл

Политика Расширение позволяет объединить несколько ресурсов хранения

Расширение

Политика Зеркалирование позволяет настроить синхронную и асинхронную репликацию бакета