Типовые варианты конфигурации

Ознакомительный характер статьи

Приведённые конфигурации носят ознакомительный характер для определения примерного объёма требуемых ресурсов.

Под конкретный проект нужно сделать отдельный расчёт, учтя нагрузку и специфику проекта. Для расчёта сайзинга обратитесь к вашему авторизованному партнёру ЗАКРОМА.

В статье рассматриваются наиболее популярные варианты конфигураций S3 ЗАКРОМА.Хранение:

• Многоузловая конфигурация на одной площадке на VM (Single Cluster on VM)
• Многоузловая конфигурация на одной площадке на Kubernetes + VM (Single Cluster on Kubernetes + VM)
• Многоузловая конфигурация на одной площадке на Baremetal (Single Cluster on BareMetal)
• Многоузловая конфигурация растянутого кластера на нескольких площадках на Kubernetes + VM (Stretched Cluster on Kubernetes + VMs)
• Мультикластерная конфигурация на VM (Multi Cluster on VMs)

Расчётная нагрузка

Примеры конфигураций рассчитаны исходя из следующей нагрузки:

• Максимальная потоковая мощность ~ 1 000 MB/s или 8 Gb/s,
• Количество запросов - 950 rps на чтение, 50 rps на запись,
• Количество файлов - 100 000 000 файлов,
• Средний размер файла ~ 1 MB
• Общий требуемый объём полезного хранения ~ 100 TB rps - requests per second (количество запросов в секунду к API S3)

Многоузловая конфигурация на одной площадке на VM (Single Cluster on VM)

Особенности

• Конфигурация, обеспечивающая отказоустойчивость в рамках площадки.
• Катастрофоустойчивость можно реализовать за счёт бэкапирования данных.
• Данные хранятся на внешней СХД.
• Требуется внешний балансировщик нагрузки.

Ресурсы

• 2 VM под postgresql(слой хранения метаданных)
• 3 VM под kafka
• 4 VM под Zakroma.Storage(управляющий слой) + zds (слой хранения данных).

Топология EC (Erasure coding):

• EC 4:1 - Полезный объём хранения - 102 TB. Отказоустойчивость кластера - 1 диск или 1 сервер

Copy
1VM: (2), Type: postgres, 
2  vCPU: 4, RAM: 8 GB
3  Net:(1),  Target: Common, Size: 1 Gb/s
4  Disk:(1), Target: System, Type: SSD, Size: 128 GB
5  Disk:(1), Target: Data,   Type: SSD SAS / NVME, Size: 512 GB
6
7VM: (3), Type: kafka, 
8  vCPU: 2, RAM: 8 GB
9  Net:(1),  Target: Common, Size: 1 Gb/s
10  Disk:(1), Target: System, Type: SSD, Size: 128 GB
11  Disk:(1), Target: Data,   Type: SSD SAS / NVME, Size: 128 GB
12
13VM: (4), Type: storageNode(zds+zakroma), 
14  vCPU: 10, RAM: 20 GB
15  Net:(1),    Target: outer,        Size: 10 Gb/s 
16  Net:(1),    Target: zds-cluster,  Size: 10 Gb/s
17  Disk:(1),   Target: System,       Type: SSD, Size: 128 GB
18  Disk:(1),   Target: Data,         Type: СХД, Size: 34 TB

• в скобках указано количество элементов
• размер системного диска может варьироваться

Многоузловая конфигурация на одной площадке на Kubernetes + VM (Single Cluster on Kubernetes + VM)

Особенности

• Конфигурация, обеспечивающая отказоустойчивость в рамках площадки.
• Катастрофаустойчивость можно реализовать за счёт бэкапирования данных.
• Данные хранятся на СХД
• Возможно масштабировать отдельные компоненты системы независимо друг от друга

Ресурсы

• k8s под Zakroma.Storage(управляющий слой) + kafka
• 2 VM под postgresql(слой хранения метаданных)
• 4 VM под zds (слой хранения данных).

Топология EC (Erasure coding):

• EC 4:1 - Полезный объём хранения - 102 TB. Отказоустойчивость кластера - 1 диск или 1 сервер

Copy
1K8s: 
2  Namespace Quota:  CPU: 34, RAM: 68 GB, Storage: 90 GB
3  Требования сети - не менее 10 Gb/s между K8S Worker Node
4
5VM: (2), Type: postgres, 
6  vCPU: 4, RAM: 8 GB
7  Net:(1),  Target: Common, Size: 1 Gb/s
8  Disk:(1), Target: System, Type: SSD, Size: 128 GB
9  Disk:(1), Target: Data,   Type: SSD SAS / NVME, Size: 512 GB
10
11VM: (4), Type: zds, 
12  vCPU: 4, RAM: 8 GB
13  Net:(1),    Target: outer,        Size: 10 Gb/s 
14  Net:(1),    Target: zds-cluster,  Size: 10 Gb/s
15  Disk:(1),   Target: System,       Type: SSD, Size: 128 GB
16  Disk:(1),   Target: Data,         Type: СХД, Size: 34 TB

• в скобках указано количество элементов
• размер системного диска может варьироваться

Многоузловая конфигурация на одной площадке на Baremetal (Single Cluster on BareMetal)

Особенности

• Конфигурация, обеспечивающая отказоустойчивость в рамках площадки.
• Катастрофаустойчивость можно реализовать за счёт бэкапирования данных.
• Данные хранятся на дисках
• Минимизация сетевого трафика между узлами за счёт локального взаимодействия компонентов
• Требуется внешний балансировщик нагрузки

Ресурсы (вариант на 3 серверах)

• 3 Baremetal под все компоненты.

Топология EC (Erasure coding):

• EC 3:1 - Полезный объём хранения - 102.4 TB. Отказоустойчивость кластера - 1 диск или 1 сервер

Copy
1BareMetal: (3), Type: storageNode(zds+zakroma) + postgres + kafka, 
2  CPU: 12, RAM: 32 GB
3  Net:(2),    Target: outer,        Size: 10 Gb/s 
4  Net:(2),    Target: zds-cluster,  Size: 10 Gb/s
5  Disk:(2),   Target: System,       Type: SSD, Size: 128 GB
6  Disk:(2),   Target: MetaData,     Type: SSD SAS / NVME, Size: 256 GB
7  Disk:(1),   Target: Data,         Type: SSD, Size: 7.68 TB(6,98 TB реальная ёмкость)
8  Disk:(6),   Target: Data,         Type: HDD/SSD, Size: 8 TB (7.27 TB реальная ёмкость)
9

• в скобках указано количество элементов
• базовая частота CPU - 2.1 ГГц
• для BareMetal сети объединяются в bond (balance), например Net:(2), Target: outer, Size: 10 Gb/s означает bond из 2х10G сетей
• размер системного диска может варьироваться

Ресурсы (вариант на 5 серверах)

• 2 Baremetal под zds (слой хранения) и postgres (слой метаданных)
• 3 Baremetal под zds (слой хранения), kafka и Zakroma.Storage (слой управления)

Топология EC (Erasure coding):

• EC 5:1 - Полезный объём хранения - 144.24 TB. Отказоустойчивость кластера - 1 диск или 1 сервер
• EC 5:2 - Полезный объём хранения - 108.18 TB. Отказоустойчивость кластера - 2 диска или 1 сервер и 1 диск

Copy
1BareMetal: (2), Type: zds + postgres, 
2  CPU: 12, RAM: 32 GB
3  Net:(2),    Target: outer,        Size: 10 Gb/s 
4  Net:(2),    Target: zds-cluster,  Size: 10 Gb/s
5  Disk:(2),   Target: System,       Type: SSD, Size: 128 GB
6  Disk:(2),   Target: MetaData,     Type: SSD SAS / NVME, Size: 256 GB
7  Disk:(1),   Target: Data,         Type: SSD, Size: 7.68 TB(6,98 TB реальная ёмкость)
8  Disk:(4),   Target: Data,         Type: HDD/SSD, Size: 8 TB (7.27 TB реальная ёмкость)
9  
10BareMetal: (3), Type: zds + kafka + zakroma, 
11  CPU: 12, RAM: 32 GB
12  Net:(2),    Target: outer,        Size: 10 Gb/s 
13  Net:(2),    Target: zds-cluster,  Size: 10 Gb/s
14  Disk:(2),   Target: System,       Type: SSD, Size: 128 GB
15  Disk:(1),   Target: Data,         Type: SSD, Size: 7.68 TB(6,98 TB реальная ёмкость)
16  Disk:(4),   Target: Data,         Type: HDD/SSD, Size: 8 TB (7.27 TB реальная ёмкость)  
17

• в скобках указано количество элементов
• базовая частота CPU - 2.1 ГГц
• для BareMetal сети объединяются в bond (balance), например Net:(2), Target: outer, Size: 10 Gb/s означает bond из 2х10G сетей
• размер системного диска может варьироваться

Многоузловая конфигурация растянутого кластера на нескольких площадках на Kubernetes + VM (Stretched Cluster on Kubernetes + VMs)

Особенности

• Конфигурация, обеспечивающая отказоустойчивость и катастрофаустойчивость.
• Требуется минимум 2 площадки для хранения данных и ещё одна для witness.
• Возможна как синхронная, так и асинхронная репликация данных между площадками.
• Данные хранятся на СХД
• Возможно масштабировать отдельные компоненты системы независимо друг от друга

Ресурсы (в каждом из ЦОД 1/2)

• k8s не растянут между площадками (для растянутого кластера конфигурация будет отличаться)
• k8s под Zakroma.Storage(управляющий слой)
• 1 VM под postgresql(слой хранения метаданных)
• 1 VM под kafka
• 4 VM под zds (слой хранения данных).

Топология EC (Erasure coding):

• EC 4:1 - Полезный объём хранения - 102 TB. Отказоустойчивость кластера - 1 диск или 1 сервер

Copy
1K8s: 
2  Namespace Quota:  CPU: 32, RAM: 64 GB, Storage: 0 GB
3  Требования сети - не менее 10 Gb/s между K8S Worker Node
4
5VM: (1), Type: postgres, 
6  vCPU: 4, RAM: 8 GB
7  Net:(1),  Target: Common, Size: 1 Gb/s
8  Disk:(1), Target: System, Type: SSD, Size: 128 GB
9  Disk:(1), Target: Data,   Type: SSD SAS / NVME, Size: 512 GB
10  
11VM: (1), Type: kafka, 
12  vCPU: 2, RAM: 8 GB
13  Net:(1),  Target: Common, Size: 1 Gb/s
14  Disk:(1), Target: System, Type: SSD, Size: 128 GB
15  Disk:(1), Target: Data,   Type: SSD SAS / NVME, Size: 128 GB
16
17VM: (4), Type: zds, 
18  vCPU: 4, RAM: 8 GB
19  Net:(1),    Target: outer,        Size: 10 Gb/s 
20  Net:(1),    Target: zds-cluster,  Size: 10 Gb/s
21  Disk:(1),   Target: System,       Type: SSD, Size: 128 GB
22  Disk:(1),   Target: Data,         Type: СХД, Size: 34 TB

• в скобках указано количество элементов
• размер системного диска может варьироваться

Ресурсы (в ЦОД 3)

• 1 VM под kafka

Copy
1VM: (1), Type: kafka, 
2  vCPU: 2, RAM: 8 GB
3  Net:(1),  Target: Common, Size: 1 Gb/s
4  Disk:(1), Target: System, Type: SSD, Size: 128 GB
5  Disk:(1), Target: Data,   Type: SSD SAS / NVME, Size: 128 GB

Мультикластерная конфигурация на VM (Multi Cluster on VMs)

Особенности

• Конфигурация, обеспечивающая отказоустойчивость и катастрофоустойчивость.
• Возможна только асинхронная репликация данных между площадками.
• Возможно независимое, не реплицируемое хранение данных на площадках.
• Состоит из двух и более кластеров (Single Cluster)

Ресурсы (в каждом из ЦОД)

• 2 VM под postgresql(слой хранения метаданных)
• 3 VM под kafka
• 4 VM под Zakroma.Storage(управляющий слой) + zds (слой хранения данных).

Топология EC (Erasure coding):

• EC 4:1 - Полезный объём хранения - 102 TB. Отказоустойчивость кластера - 1 диск или 1 сервер

Copy
1VM: (2), Type: postgres, 
2  vCPU: 4, RAM: 8 GB
3  Net:(1),  Target: Common, Size: 1 Gb/s
4  Disk:(1), Target: System, Type: SSD, Size: 128 GB
5  Disk:(1), Target: Data,   Type: SSD SAS / NVME, Size: 512 GB
6
7VM: (3), Type: kafka, 
8  vCPU: 2, RAM: 8 GB
9  Net:(1),  Target: Common, Size: 1 Gb/s
10  Disk:(1), Target: System, Type: SSD, Size: 128 GB
11  Disk:(1), Target: Data,   Type: SSD SAS / NVME, Size: 128 GB
12
13VM: (4), Type: storageNode(zds+zakroma), 
14  vCPU: 10, RAM: 20 GB
15  Net:(1),    Target: outer,        Size: 10 Gb/s 
16  Net:(1),    Target: zds-cluster,  Size: 10 Gb/s
17  Disk:(1),   Target: System,       Type: SSD, Size: 128 GB
18  Disk:(1),   Target: Data,         Type: СХД, Size: 34 TB

• в скобках указано количество элементов
• размер системного диска может варьироваться