Мониторинг

Монитор

Раздел «Монитор» предназначен для отображения состояния ключевых компонентов системы. Проверка состояния выполняется с помощью набора модулей, каждый из которых отслеживает определённый функциональный блок (например, хранилища или фоновые задачи).

Назначение модулей

Каждый модуль выполняет регулярные или вручную запускаемые проверки. В результате этих проверок формируются сообщения:

• 🔴 Ошибки (errors) — критические проблемы;
• 🟡 Предупреждения (warnings) — потенциальные риски.

Информация визуализируется в интерфейсе через цветовые индикаторы, а также текстовые сообщения.

Общий вид страницы

В разделе «Монитор» модули отображаются в виде отдельных карточек. Каждая карточка включает базовую информацию:

• Название модуля;
• Основные числовые показатели (например, количество хранилищ, недоступных шардов и т.д.);
• Иконку статуса (в случае наличия ошибок или предупреждений).

Просмотр подробной информации

Для получения деталей по модулю:

1. Нажмите на карточку модуля (например, Хранилища).
2. В правой части экрана откроется блок Информация о модуле, где отображаются:

• Название модуля;
• Дата последней проверки;
• Период проверки — частота автоматического запуска проверок (например, «раз в 120 секунд»);
• Список ошибок и предупреждений (раскрашены в соответствии с критичностью);
• Специфичные параметры (кастомные поля).

Пример ошибок и предупреждений

• Хранилище Storage1 недоступно
• Осталось менее 15 % свободного места на хранилище zds-fs
• В ZDS хранилище активны 2 ноды из 3

Расширенная диагностика ZDS в модуле «Хранилища»

Для хранилищ типа ZDS в разделе «Монитор» отображается дополнительная информация о состоянии нод (node) и томов (volume).

1. Отображение ZDS-хранилища

• Заголовок секции — имя хранилища.
• Вложенные секции — ноды ZDS, указанные в строке подключения хранилища (в поле «Адреса серверов»).

Цвет вложенной секции (ноды) показывает её состояние:

• серый — нода работает штатно;
• жёлтый — нода находится в одном из переходных или сервисных статусов (штатное взаимодействие может быть ограничено);
• красный — нода недоступна.

Для каждой ноды отображаются два статуса:

• Статус клиента — показывает, смогла ли система подключиться к ноде извне;
• Статус внутри кластера — показывает состояние ноды внутри кластера с точки зрения других нод кластера.

Возможные значения статуса:

• RUNNING — всё работает;
• NOT CONNECTED — узел в данный момент ещё не подключился к остальным узлам кластера;
• UNSYNC — узел ещё не синхронизировался с остальными узлами кластера;
• ERROR — узел недоступен внутри кластера.

Для каждой ноды также отображается секция Volumes со статусами примонтированных томов (например: Volume1 — запущен).

2. Статусы томов (volume)

Для томов ZDS, помимо состояний «запущен / не запущен» (running / not running), в Мониторе также отображаются статусы:

• REPAIR — восстановление;
• FULL — диск почти заполнен.

3. Статусы нод (node)

Для нод ZDS в Мониторе, помимо информации о неактивных нодах, также может отображаться статус:

• REPAIR — нода находится в процессе восстановления.

4. Статус восстановления

Если том (volume) или узел (node) находится в процессе восстановления, в Мониторе отображается прогресс восстановления (repairProcess) в процентах.

5. Контроль заполненности тома

Для томов ZDS в Мониторе может отображаться состояние «Диск почти заполнен» (система автоматически определяет этот статус на основе данных о заполненности тома).

Общесистемные параметры

В нижней части экрана отображаются базовые общесистемные параметры (например, версия системы, количество хранилищ и т.д.).

• Версия системы;
• Количество рабочих областей;
• Общее число хранилищ, buckets и шардов;
• Состояние мультикластера;
• Статус лицензии.

Эти данные автоматически формируются системой и, при необходимости, могут быть получены программно по API (GET /monitor/system-params).

Запуск проверки вручную

Чтобы вручную запустить все проверки, предусмотренные для модулей:

1. Нажмите кнопку Запустить проверку в правом верхнем углу.
2. В появившемся диалоговом окне подтвердите запуск.

Это действие инициирует внеплановую проверку всех активных модулей и обновляет данные в интерфейсе.

Переход к мониторингу Grafana

В правом верхнем углу страницы расположена кнопка Мониторинг Grafana. При нажатии на нее открывается внешний дашборд с графиками и визуализациями текущего состояния системы на платформе Grafana.

📌 Обратите внимание: при переходе может потребоваться авторизация в Grafana. Используйте учётные данные, предоставленные администратором системы.

---

Миграции БД

Модуль «Миграции БД» предназначен для мониторинга выполнения миграций базы данных и контроля их состояния.

Модуль отображает:

• список выполняемых и завершённых миграций;
• статус каждой миграции;
• тип миграции (блокирующая или фоновая);
• прогресс выполнения (для фоновых операций);
• компонент (сервис), выполняющий миграцию.

В таблице миграций отображаются следующие параметры:

• ID — уникальный идентификатор миграции;
• Компонент — сервис, выполняющий миграцию;
• Начало — дата и время запуска;
• Прогресс — степень выполнения (для фоновых миграций);
• Тип:
  • блокирующая;
  • фоновая;
• Статус:
  • новая
  • подготовка;
  • подготовлена;
  • применение;
  • применено;
• Описание миграции — краткое описание изменений.

Особенности работы

1. Последовательное выполнение миграций

Пропуск версий ЗАКРОМА.Хранение не поддерживается.

Каждая версия системы должна быть успешно запущена, а фоновые миграции — завершены перед переходом к следующей версии.

2. Фоновые миграции

Часть миграций выполняется в фоновом режиме и может выполняться длительное время. Для таких миграций отображается прогресс выполнения.

Управление нагрузкой

Для фоновых миграций предусмотрена возможность регулирования нагрузки на систему.

Изменение требует деплоя конфигурации.

Пример конфигурации:

Copy
1morpheus:  
2  workers_count: 3

Фоновые процессы

Модуль «Фоновые процессы» отображает список фоновых процессов системы и позволяет анализировать их выполнение без прямого обращения к базе данных. На данный момент подключено 9 типов процессов, разделённых на три категории:

• миграция и зеркалирование — миграция объектов, миграция мерг-группы, удаление вольюма из мерг-группы;
• работа с бакетом — сканирование бакета (включая историческое хранилище), реформатирование, удаление;
• политики и целостность — применение политик, сканирование бакета на целостность.

При открытии модуля в блоке «Информация о модуле» также отображается статистика по фоновым задачам (ожидающие обработки задачи, зависшие задачи) — унаследованная от объединённого модуля «Фоновые задачи», плюс стандартные для любого модуля дата последней проверки, период проверки и кнопка Запустить проверку.

Список процессов

Таблица процессов содержит по каждому процессу: ID (копируется по клику), рабочую область, bucket, тип процесса, дату начала, дату завершения и статус. Над таблицей — фильтры по рабочей области, bucket, типу, дате начала, дате завершения и статусу; фильтр по статусу по умолчанию установлен на «Активен».

• Статус принимает значения Активен или Завершён.
• Если активный процесс выполняется дольше порогового значения (по умолчанию 7 дней, настраивается в конфигурации), вместо даты завершения отображается иконка с указанием длительности — такой процесс считается долгоживущим.

Детализация процесса

По клику на строку открывается развёрнутая информация о процессе:

• Заголовок — тип и статус процесса, кнопка автообновления статистики и графиков (активна только для процессов в статусе «Активен») с выбором интервала из выпадающего списка (5с, 10с, 15с, 30с; по умолчанию 5с) и возможностью отключить автообновление и обновить данные вручную.
• Общая информация — те же атрибуты процесса, что и в списке, плюс поле Context — JSON с дополнительными сведениями о процессе (например, bucketId, workspaceId), раскрывается по клику.
• Статистика за всё время — количество ошибок, созданных, завершённых задач и повторных попыток в рамках процесса.
• Обзор статистики — по каждому компоненту (сервису), участвующему в процессе: количество ошибок, завершённых и созданных задач; доступен фильтр ALL/CORE/WORKERS.
• Исторические данные — двухосный график динамики метрик во времени: по горизонтали — интервал агрегации (час/день/неделя/месяц/всё время; по умолчанию час), по вертикали — значение метрики для выбранного компонента (сервиса), участвующего в процессе; график сопровождается легендой по метрикам.

Отмена процессов

Отменить (прервать) уже запущенный активный процесс через интерфейс на данный момент нельзя.

Просмотр ошибок по компоненту

Кнопка «Посмотреть ошибки» для детального просмотра ошибок конкретного компонента запланирована на будущие релизы и в текущей версии недоступна.

Автоматическая очистка

Завершённые процессы автоматически удаляются из базы данных через заданное количество дней после завершения (по умолчанию 30 дней) — это предотвращает разрастание таблиц и снижение производительности при большом числе исторических записей.

Влияние на S3-операции

Мониторинг фоновых процессов работает асинхронно и не влияет на выполнение S3-операций (загрузка, скачивание, применение политик). Механизм можно отключить в конфигурации.

Таблица модулей мониторинга