Перенос данных из внешнего S3-хранилища в ЗАКРОМА без остановки клиентских приложений

Бесшовная миграция с внешнего S3

Таблица поддерживаемых методов AWS S3

Поддержка методов AWS S3

Как создать бэкап данных бакета на отчуждаемый носитель и восстановить данные. Полный и инкрементальный бэкап.

Бэкапирование и восстановление S3 бакета

Рекомендации по улучшению производительности решения

Отказоустойчивость

Перенос данных бакета из одного Хранилища в другое

Миграция данных

Описание возможностей масштабирования объёма хранения кластера

Масштабирование объёма хранения

Работа с S3 Browser

Первые шаги в приложении

Начало работы

Описание общей архитектуры решения и компонент

Архитектура решения

Расчет требований к инфраструктуре

Требования

Варианты установки и размещения компонентов

Типовые варианты конфигурации

С чего начать

Установка Закрома.Хранение

Таблица соответствия версий

Изменения в архиве поставки

Changelog

7.2.4

7.2.3

7.2.2

7.2.1

7.2.0

7.1.0

7.0.1

7.0.0 Версия поставки

Стандартная

Подготовка Kubernetes, сети, PostgreSQL, хранилища и доступа перед установкой Закрома.Хранение и ZDS

Подготовка окружения к установке

Соответствие версий Helm-чартов и версий Закрома.Хранение и ZDS

Управляющий слой и слой данных, размещение в Kubernetes, на физических серверах, виртуальных машинах и в смешанных конфигурациях

Версия Helm-чарта

Закрома.Хранение

Контейнерная

Описание способов авторизации: file/LDAP/keycloak/OIDC

Настройка авторизации

Описывает топики Kafka, их параметры и роли в кластере, включая требования для однокластерной и мультикластерной конфигураций

Настройка Kafka

Инструкция по расчёту максимального количества подключений к базе данных PostgreSQL для корректной настройки параметров подключения

Расчёт максимального количества подключений к PostgreSQL

Настройка PostgreSQL

Рекомендации по балансировке S3 API и Admin UI, TLS-терминации, SNI, DNS RR и отказоустойчивым VIP-адресам

Настройка событий аудита

Настройка безопасного подключения к Kafka, включая использование TLS/mTLS, SASL, особенности протоколов и параметры клиентской конфигурации

Расширенная конфигурация Kafka

Настройка окружения

Установка

Описание структуры аудит-событий, набора доступных полей при формировании аудит-логов в системе ЗАКРОМА.Хранение

Формат и поля аудит-событий

Настройка ограничений скорости и нагрузки на S3 API в разрезе пользователя, рабочей области и бакета

QoS — управление пропускной способностью S3 API

CLI (Command Line Interface, zcli)

Описание работы страницы с операциями

Операции

Основные параметры конфигурации узлов и кластера ZDS

Конфигурация ZDS

Состояния узлов, дисков, групп хранения и вольюмов в кластере ZDS

Кластер ZDS и состояния компонентов

Назначение сервиса ZDS и его место в архитектуре Закрома.Хранение

Что такое ZDS

Принципы хранения данных в ZDS, режим EC и роль метаданных

Как ZDS хранит данные

Внешние, внутренние и административные методы API сервиса ZDS

API ZDS

Список метрик ZDS, доступных для мониторинга через Prometheus и Grafana

Метрики ZDS

Основные термины и сущности, используемые в документации ZDS

Базовые понятия ZDS

Управление воркерами и настройка шардирования данных бакета

Шардирование

Управление публичным доступом и видимостью объектов бакета

Публичные бакеты

Удаление и восстановление бакетов в системе

Удаление бакета

Работа с объектами внутри бакета

Просмотр бакета

Как создавать и настраивать бакеты

Бакет (bucket)

Подключение ресурса хранения

Хранилища

Описание типов хранилищ

Типы хранилищ

Управление рабочими областями

Рабочие области

Настройка и управление правилами CORS для выбранного бакета

CORS

Назначение и управление версионированием объектов в бакете

Версионирование

Настройка хранения

Создание и управление политиками доступа пользователей в системе

Политики доступа

Назначение и управление ролями администраторов в системе

Администраторы workspace/bucket

Создание, редактирование и синхронизация групп пользователей системы

Группы пользователей

Создание и управление временными ключами доступа S3

Управление ключами доступа

Просмотр, синхронизация и управление пользователями

Пользователи

Создание, настройка и назначение ролей пользователей системы

Роли

Настройка разрешений и ограничений доступа по IP-адресам

Фильтрация по IP

Просмотр профиля пользователя

Профиль пользователя

Создание локальных пользователей S3 API в рамках рабочей области

Локальные пользователи рабочей области

Доступ

Принцип работы кластерного режима

Мультикластер

Управление

Блокировка версий объектов

ObjectLocking

Расширение позволяет объединить несколько ресурсов хранения

Расширение

Зеркалирование позволяет настроить синхронную и асинхронную репликацию бакета

Зеркалирование

Путь хранения объектов бакета на подключенном хранилище

Формирование пути хранения данных

Правила жизненного цикла данных

Жизненный цикл

Механизм оповещения других систем о событиях в хранилище.

Webhooks

Как подключить хранилище с уже имеющимися данными в нем

Подключение хранилища с данными

Позволяет настроить политики хранения объектов в бакете

Настройка хранения бакета

Политики хранения

Как загружать, скачивать, синхронизировать, удалять и просматривать объекты через S3 Browser

Пример работы c S3 через S3 Browser

Настройка подключения к ЗАКРОМА.Хранение

Подключение к ЗАКРОМА.Хранение

Использование

Шаблон обращения в поддержку

Инструкция по ротации логов security audit log в БД PostgreSQL

Ротация аудит-лога (запись в БД)

Где находятся логи приложения

Инструкция по базовой проверке работоспособности сервисов Zakroma при стандартной инсталляции

Проверка статуса сервисов

Как проверить имена узлов ZDS в инвентаре Ansible и в конфигурации кластера

Проверка имён узлов ZDS

Alert rules

Отслеживание задач и статуса системы

Мониторинг

Метрики приложения

Диагностика и устранение неполадок

Ответы на популярные вопросы по работе с системой

Частые вопросы

Что изменилось в приложении в текущем релизе