Просмотр, сбор и ротация логов сервисов при установке в Kubernetes

Где находятся логи приложения

Первые шаги в приложении

Начало работы

Расчет требований к инфраструктуре

Требования

Описание общей архитектуры решения и компонент

Архитектура решения

Варианты установки и размещения компонентов

Типовые варианты конфигурации

С чего начать

Инструменты установки, масштабирования и обновления

Установка Закрома.Хранение

Изменения в архиве поставки

Changelog

Соответствие версий архива поставки Ansible и версий ПО

Таблица соответствия версий

8.1.0

8.0.0 Версия поставки

Стандартная

Соответствие версий Helm-чартов и версий Закрома.Хранение и ZDS

Управляющий слой и слой данных, размещение в Kubernetes, на физических серверах, виртуальных машинах и в смешанных конфигурациях

Подготовка Kubernetes, сети, PostgreSQL, хранилища и доступа перед установкой Закрома.Хранение и ZDS

Подготовка окружения к установке

Версия Helm-чарта

Zakroma-Storage

Контейнерная

Настройка безопасного подключения к Kafka, включая использование TLS/mTLS, SASL, особенности протоколов и параметры клиентской конфигурации

Расширенная конфигурация Kafka

Рекомендации по балансировке S3 API и Admin UI, TLS-терминации, SNI, DNS RR и отказоустойчивым VIP-адресам

Настройка событий аудита

Подготовка Keycloak для аутентификации и синхронизации пользователей Закрома.Хранение

Настройка Keycloak

Инструкция по расчёту максимального количества подключений к базе данных PostgreSQL для корректной настройки параметров подключения

Расчёт максимального количества подключений к PostgreSQL

Описывает топики Kafka, их параметры и роли в кластере, включая требования для однокластерной и мультикластерной конфигураций

Настройка Kafka

Создание базы данных, пользователя и схем PostgreSQL, настройка PgBouncer

Настройка PostgreSQL

Описание способов авторизации: file/LDAP/keycloak/OIDC

Настройка авторизации

Настройка окружения

Установка

Описание работы страницы с операциями

Операции

CLI (Command Line Interface, zcli)

Настройка ограничений скорости и нагрузки на S3 API в разрезе пользователя, рабочей области и бакета

QoS — управление пропускной способностью S3 API

Описание структуры аудит-событий, набора доступных полей при формировании аудит-логов в системе ЗАКРОМА.Хранение

Формат и поля аудит-событий

Основные термины и сущности, используемые в документации ZDS

Базовые понятия ZDS

Состояния узлов, дисков, групп хранения и вольюмов в кластере ZDS

Кластер ZDS и состояния компонентов

Назначение сервиса ZDS и его место в архитектуре Закрома.Хранение

Что такое ZDS

Внешние, внутренние и административные методы API сервиса ZDS

API ZDS

Принципы хранения данных в ZDS, режим EC и роль метаданных

Как ZDS хранит данные

Основные параметры конфигурации узлов и кластера ZDS

Конфигурация ZDS

Список метрик ZDS, доступных для мониторинга через Prometheus и Grafana

Метрики ZDS

Настройка и управление правилами CORS для выбранного бакета

CORS

Как создавать и настраивать бакеты

Бакет (bucket)

Описание типов хранилищ

Типы хранилищ

Управление воркерами и настройка шардирования данных бакета

Шардирование

Подключение ресурса хранения

Хранилища

Управление публичным доступом и видимостью объектов бакета

Публичные бакеты

Удаление и восстановление бакетов в системе

Удаление бакета

Назначение и управление версионированием объектов в бакете

Версионирование

Управление рабочими областями

Рабочие области

Работа с объектами внутри бакета

Просмотр бакета

Как создавать и использовать шаблоны для копирования настроек бакета при его создании

Шаблоны бакета

Настройка хранения

Создание и управление временными ключами доступа S3

Управление ключами доступа

Создание, настройка и назначение ролей пользователей системы

Роли

Временный доступ к S3 через AWS STS (AssumeRole)

STS-токены

Просмотр профиля пользователя

Профиль пользователя

Просмотр, синхронизация и управление пользователями

Пользователи

Создание и управление политиками доступа пользователей в системе

Политики доступа

Назначение и управление ролями администраторов в системе

Администраторы workspace/bucket

Создание локальных пользователей S3 API в рамках рабочей области

Локальные пользователи рабочей области

Настройка разрешений и ограничений доступа по IP-адресам

Фильтрация по IP

Управление списками доступа (ACL) бакетов и объектов через S3 API

Поддержка ACL

Создание, редактирование и синхронизация групп пользователей системы

Группы пользователей

Доступ

Принцип работы кластерного режима

Мультикластер

Управление

Как подключить хранилище с уже имеющимися данными в нем

Подключение хранилища с данными

Путь хранения объектов бакета на подключенном хранилище

Формирование пути хранения данных

Механизм оповещения других систем о событиях в хранилище.

Webhooks

Блокировка версий объектов

ObjectLocking

Расширение позволяет объединить несколько ресурсов хранения

Расширение

Зеркалирование позволяет настроить синхронную и асинхронную репликацию бакета

Зеркалирование

Правила жизненного цикла данных

Жизненный цикл

Позволяет настроить политики хранения объектов в бакете

Настройка хранения бакета

Политики хранения

Таблица поддерживаемых методов AWS S3

Поддержка методов AWS S3

Описание возможностей масштабирования объёма хранения кластера

Масштабирование объёма хранения

Как создать бэкап данных бакета на отчуждаемый носитель и восстановить данные. Полный и инкрементальный бэкап.

Бэкапирование и восстановление S3 бакета

Перенос данных из внешнего S3-хранилища в ЗАКРОМА без остановки клиентских приложений

Бесшовная миграция с внешнего S3

Отказоустойчивость на уровне узлов и дисков, стратегии защиты данных

Отказоустойчивость

Перенос данных бакета из одного Хранилища в другое

Миграция данных

Настройка PostgreSQL, подключений и шардов Закрома.Хранение, памяти, дисков и сети ОС для повышения производительности решения

Пример работы c S3 через S3 Browser

Настройка подключения к ЗАКРОМА.Хранение

Подключение к ЗАКРОМА.Хранение

Работа с S3 Browser

Использование

Трассировка запросов между сервисами на основе OpenTelemetry

Распределённая трассировка запросов

Формирование отчёта для технической поддержки и шаблон обращения

Шаблон обращения в поддержку

Инструкция по ротации логов security audit log в БД PostgreSQL

Ротация аудит-лога (запись в БД)

Инструкция по базовой проверке работоспособности сервисов Zakroma при стандартной инсталляции

Проверка статуса сервисов

Расположение, ротация и формат логов при установке на VM и BareMetal

Как проверить имена узлов ZDS в инвентаре Ansible и в конфигурации кластера

Проверка имён узлов ZDS

Отслеживание задач и статуса системы

Мониторинг

Рекомендуемые правила Prometheus для стандартной установки и Kubernetes

Alert rules

Метрики ЗАКРОМА.Хранение и ZDS в формате Prometheus

Метрики приложения

Диагностика и устранение неполадок

Ответы на популярные вопросы по работе с системой

Частые вопросы

Что изменилось в приложении в текущем релизе