Мониторинг

Монитор

Раздел «Монитор» предназначен для отображения состояния ключевых компонентов системы. Проверка состояния выполняется с помощью набора модулей, каждый из которых отслеживает определённый функциональный блок (например, хранилища или фоновые задачи).

Назначение модулей

Каждый модуль выполняет регулярные или вручную запускаемые проверки. В результате этих проверок формируются сообщения:

  • 🔴 Ошибки (errors) — критические проблемы;
  • 🟡 Предупреждения (warnings) — потенциальные риски.

Информация визуализируется в интерфейсе через цветовые индикаторы, а также текстовые сообщения.

Общий вид страницы

image

В разделе «Монитор» модули отображаются в виде отдельных карточек. Каждая карточка включает базовую информацию:

  • Название модуля;
  • Основные числовые показатели (например, количество хранилищ, недоступных шардов и т.д.);
  • Иконку статуса (в случае наличия ошибок или предупреждений).

Просмотр подробной информации

image

Для получения деталей по модулю:

  1. Нажмите на карточку модуля (например, Хранилища).
  2. В правой части экрана откроется блок Информация о модуле, где отображаются:
  • Название модуля;
  • Дата последней проверки;
  • Период проверки — частота автоматического запуска проверок (например, «раз в 120 секунд»);
  • Список ошибок и предупреждений (раскрашены в соответствии с критичностью);
  • Специфичные параметры (кастомные поля).

Пример ошибок и предупреждений

  • Хранилище Storage1 недоступно
  • Осталось менее 15 % свободного места на хранилище zds-fs
  • В ZDS хранилище активны 2 ноды из 3

image

Расширенная диагностика ZDS в модуле «Хранилища»

Для хранилищ на базе ЗАКРОМА.Storage (ZDS) в разделе «Монитор» отображается дополнительная информация о состоянии нод (node) и томов (volume).

1. Отображение ZDS-хранилища

  • Заголовок секции — имя хранилища.
  • Вложенные секции — ноды ZDS, указанные в строке подключения хранилища (в поле «Адреса серверов»).

Цвет вложенной секции (ноды) показывает её состояние:

  • серый — нода работает штатно;
  • жёлтый — нода находится в одном из переходных или сервисных статусов (штатное взаимодействие может быть ограничено);
  • красный — нода недоступна.

Для каждой ноды отображаются два статуса:

  • Статус клиента — показывает, смогла ли система подключиться к ноде извне;
  • Статус внутри кластера — показывает состояние ноды внутри кластера с точки зрения других нод кластера.

Возможные значения статуса:

  • RUNNING — всё работает;
  • NOT CONNECTED — узел в данный момент ещё не подключился к остальным узлам кластера;
  • UNSYNC — узел ещё не синхронизировался с остальными узлами кластера;
  • ERROR — узел недоступен внутри кластера.

Для каждой ноды также отображается секция Volumes со статусами примонтированных томов (например: Volume1 — запущен).

2. Статусы томов (volume)

Для томов ZDS, помимо состояний «запущен / не запущен» (running / not running), в Мониторе также отображаются статусы:

  • REPAIR — восстановление;
  • FULL — диск почти заполнен.

3. Статусы нод (node)

Для нод ZDS в Мониторе, помимо информации о неактивных нодах, также может отображаться статус:

  • REPAIR — нода находится в процессе восстановления.

4. Статус восстановления

Если том (volume) или узел (node) находится в процессе восстановления, в Мониторе отображается прогресс восстановления (repairProcess) в процентах.

5. Контроль заполненности тома

Для томов ZDS в Мониторе может отображаться состояние «Диск почти заполнен» (система автоматически определяет этот статус на основе данных о заполненности тома).

Общесистемные параметры

image

В нижней части экрана отображаются базовые общесистемные параметры (например, версия системы, количество хранилищ и т.д.).

  • Версия системы;
  • Количество рабочих областей;
  • Общее число хранилищ, buckets и шардов;
  • Состояние мультикластера;
  • Статус лицензии.

Эти данные автоматически формируются системой и, при необходимости, могут быть получены программно по API (GET /monitor/system-params).

Запуск проверки вручную

image

Чтобы вручную запустить все проверки, предусмотренные для модулей:

  1. Нажмите кнопку Запустить проверку в правом верхнем углу.
  2. В появившемся диалоговом окне подтвердите запуск.

Это действие инициирует внеплановую проверку всех активных модулей и обновляет данные в интерфейсе.

Переход к мониторингу Grafana

В правом верхнем углу страницы расположена кнопка Мониторинг Grafana. При нажатии на нее открывается внешний дашборд с графиками и визуализациями текущего состояния системы на платформе Grafana.

📌 Обратите внимание: при переходе может потребоваться авторизация в Grafana. Используйте учётные данные, предоставленные администратором системы.


Миграции БД

Модуль «Миграции БД» предназначен для мониторинга выполнения миграций базы данных и контроля их состояния.

image

Модуль отображает:

  • список выполняемых и завершённых миграций;
  • статус каждой миграции;
  • тип миграции (блокирующая или фоновая);
  • прогресс выполнения (для фоновых операций);
  • компонент (сервис), выполняющий миграцию.

В таблице миграций отображаются следующие параметры:

  • ID — уникальный идентификатор миграции;
  • Компонент — сервис, выполняющий миграцию;
  • Начало — дата и время запуска;
  • Прогресс — степень выполнения (для фоновых миграций);
  • Тип:
  • блокирующая;
  • фоновая;
  • Статус:
  • подготовка;
  • подготовлена;
  • ошибка подготовки;
  • применение;
  • применено;
  • ошибка применения (при наличии);
  • Описание миграции — краткое описание изменений.

Особенности работы

  1. Последовательное выполнение миграций

Пропуск версий ЗАКРОМА.Хранение не поддерживается.

Каждая версия системы должна быть успешно запущена, а фоновые миграции — завершены перед переходом к следующей версии.

  1. Фоновые миграции

Часть миграций выполняется в фоновом режиме и может выполняться длительное время. Для таких миграций отображается прогресс выполнения.

Управление нагрузкой

Для фоновых миграций предусмотрена возможность регулирования нагрузки на систему.

Изменение требует деплоя конфигурации.

Пример конфигурации:

1morpheus: 2 workers_count: 3

Таблица модулей мониторинга

Модуль(и)Назначение проверкиОшибки и предупрежденияКлючевые показатели
ХранилищаПроверка доступности и состояния хранилищ, а также дополнительных данных от ZDS🔴 Недоступное хранилище. 🟡 Мало свободного места. Томы в состоянии REPAIR или FULL
Узлы в состоянии REPAIR
Количество хранилищ.
Недоступные элементы.
Статусы volume.
Статусы node.
Показатель заполненности
repairProcess
ШардыПроверка доступности воркеров и скорости🔴 Недоступный шард, 🟡 Недостаточно шардовВсего воркеров, Недоступно
Фоновые задачиСтатистика по задачам системы.
Анализ задач с ошибками
Информативный модуль: показывает общее количество задач и число зависших.
Ожидают обработки, Зависшие задачи.
Миграции БДМониторинг выполнения миграций базы данных и их статусаОшибка примененияКоличество миграций.
В процессе / применено.
Тип миграций (блокирующая / фоновая).
Прогресс выполнения.
Компонент (воркер)