Что такое ZDS
Назначение
ZDS (Zakroma Data Storage) - нижний слой хранения в составе Закрома.Хранение. Он отвечает за физическое размещение данных на узлах кластера, хранение служебной информации о файлах и восстановление данных при сбоях.
Для пользователя S3 API ZDS обычно остаётся внутренним сервисом. Прямое взаимодействие с ним требуется в первую очередь администраторам и инженерам, которые:
- развёртывают кластер;
- настраивают параметры хранения;
- анализируют состояние узлов и дисков;
- выполняют диагностику и обслуживание.
Где ZDS находится в архитектуре
На верхнем уровне Закрома.Хранение (управляющий слой) предоставляет S3-совместимый интерфейс и функции управления данными (политики хранения, жизненного цикла, миграция и др.).
ZDS работает на нижнем уровне и выполняет операции, связанные с размещением файлов на серверах (узлах), работой с частями файлов (Erasure coding), межузловым обменом, восстановлением узлов и дисков.
Что хранит ZDS
ZDS хранит не только сами данные файлов, но и служебную информацию, необходимую для чтения и восстановления:
- части файлов;
- метаданные файлов;
- сведения о вольюмах;
- информацию о группах хранения;
- журнал операций.
Именно поэтому корректная работа ZDS влияет не только на доступность данных, но и на возможность их восстановления после отказа отдельных компонентов (серверов или дисков хранения).
Отказоустойчивость
В текущей версии для отказоустойчивости используется механизм помехоустойчивого кодирования Erasure Coding (EC). В этом режиме ZDS:
- делит файл на части;
- распределяет части между дисками и узлами;
- использует дополнительные части для восстановления;
- позволяет читать данные с любого узла кластера при наличии достаточного количества доступных частей.
Такой подход повышает отказоустойчивость и помогает эффективнее использовать дисковое пространство по сравнению с простым дублированием (репликацией) всех данных.
Для кого этот раздел
Документация по ZDS ориентирована на следующие роли:
- архитектор решения;
- администратор кластера;
- инженер внедрения;
- специалист сопровождения;
- разработчик, которому нужно понять внутреннюю механику хранения.
Для конечного пользователя S3-интерфейса этот раздел обычно не требуется.
Как читать раздел
Если нужно быстро разобраться в терминах и принципах работы, начните с материалов:
Если нужно подготовить или сопровождать кластер, переходите дальше: