Фоновая проверка данных

Назначение

Фоновая проверка данных позволяет обнаруживать удаленные или поврежденные объекты на хранилищах группы хранения и восстанавливать их.

Подробнее ознакомиться с зеркальными хранилищами можно в статье Зеркалирование

Настройка

  1. Выберите необходимую рабочую область.
  2. Выберите необходимый бакет внутри рабочей области.
  3. Перейдите во вкладку Параметры в меню слева.
  4. Перейдите к блоку Фоновая проверка данных.

image

Быстрая проверка данных

Быстрая проверка данных выполняет регулярную проверку наличия объектов в хранилищах и их размеров. При обнаружении несоответствий система восстанавливает оригинальные файлы.

Чтобы включить быструю проверку и настроить расписание:

  1. Активируйте переключатель Быстрая проверка.
  2. В поле Расписание проверки выберите периодичность запуска (например, ежедневно, еженедельно, ежемесячно) и задайте момент старта проверки:
    • укажите день (если это требуется выбранным типом расписания);
    • укажите часы, минуты и секунды старта в серверном времени.
  3. В блоке Продолжительность задайте, сколько времени может выполняться проверка в рамках одного окна (в часах и минутах).
  4. Нажмите Сохранить.

Полная проверка контрольных сумм объектов

Полная проверка контрольных сумм объектов выполняет расширенную проверку: помимо наличия и размеров, сравниваются контрольные суммы объектов. Чтобы включить полную проверку контрольных сумм и настроить расписание:

  1. Активируйте переключатель Полная проверка контрольных сумм объектов.
  2. В поле Расписание проверки выберите периодичность запуска и задайте момент старта проверки:
    • при необходимости укажите день;
    • заполните часы, минуты и секунды старта в серверном времени.
  3. В блоке Продолжительность укажите длительность окна работы проверки (в часах и минутах).
  4. Нажмите Сохранить.

Особенности работы по расписанию

  • Расписание задаётся в виде временного окна: времени старта и длительности работы проверки.
  • Проверка выполняется только в пределах заданного окна. Вне этого интервала задачи фоновой проверки не обрабатываются.
  • Если окно заканчивается, а проверка ещё не завершена, процесс автоматически приостанавливается.
  • В следующее расписанное окно проверка продолжается с того места, где была остановлена, а не запускается заново.
  • Настройки расписания и окна работы задаются отдельно для:
    • быстрой проверки данных;
    • полной проверки контрольных сумм объектов.

В расписании и времени старта указывайте значения в серверном времени. Ориентируйтесь на значение «текущее серверное время», отображаемое в интерфейсе.

Влияние на производительность

Влияние фоновой проверки на производительность хранилища зависит от режима, объёма данных и числа реплик:

  • Быстрая проверка — проверяются метаданные на томах (GetPart, сверка размера). Минимальный дисковый I/O.
  • Полная проверка контрольных сумм — выполняется полное чтение каждой части (part) с каждой реплики и пересчёт контрольной суммы (ETag). Нагрузка сопоставима с фоновым чтением всего бакета — для больших бакетов возможны заметные пики дисковой нагрузки (I/O) на ZDS.

Ограничение использования ресурсов

Помимо расписания и продолжительности окна работы, нагрузку фоновой проверки ограничивают:

  • обработка объектов батчами по 1000 (N=1000);
  • глобальный лимит параллельных фоновых задач (background.concurrency=100);
  • выбор интенсивности проверки (быстрая / полная).

Управление лимитами фоновых задач в разрезе рабочих областей (тенантов) в текущей версии не реализовано.

Просмотр результатов проверки

Отдельного сводного отчёта о результатах фоновой проверки не предусмотрено. Текущее состояние можно увидеть следующим образом:

  • в Admin UI, в блоке «Фоновая проверка данных» — отображаются только настройки (режим, расписание, продолжительность);
  • через API-метод GET .../integrity-settings-v2 — возвращает настройки и время следующей проверки (next_check_time);
  • внутри системы — признак broken у объектов и частей (objects/parts), а также ошибки в part_bindings.error; при частичных сбоях выполняется автоматическое восстановление (auto-recover).