Настройка Kafka
Необходимые топики в Kafka для базового кластера
| Название топика | Количество партиций (min) | Consumer Group | Кем используется |
|---|---|---|---|
ZakromaNotification | 8 | Zakroma | Компонент Notfication |
ZakromaNotificationDeadLetterQueue | 8 | Zakroma | Компонент Notfication |
ZakromaSecLog | 8 | Zakroma | Компонент Seclog |
ZakromaSecLogDeadLetterQueue | 8 | Zakroma | Компонент Seclog |
ZakromaBackgroundCore | 8 | Zakroma | Компонент Core |
ZakromaWorker0 | 8 | Zakroma | Компонент Worker |
ZakromaWorker1 | 8 | Zakroma | Компонент Worker |
Необходимые топики в Kafka для Мультикластера
Первый кластер Kafka
| Название топика | Количество партиций (min) | Consumer Group | Кто пишет | Кто читает |
|---|---|---|---|---|
ZakromaNotification | 8 | Zakroma | Первый кластер | Первый кластер |
ZakromaNotificationDeadLetterQueue | 8 | Zakroma | Первый кластер | Первый кластер |
ZakromaSecLog | 8 | Zakroma | Первый кластер | Первый кластер |
ZakromaSecLogDeadLetterQueue | 8 | Zakroma | Первый кластер | Первый кластер |
ZakromaBackgroundCore | 8 | Zakroma | Первый кластер | Первый кластер |
ZakromaWorker0 | 8 | Zakroma | Первый кластер | Первый кластер |
ZakromaWorker1 | 8 | Zakroma | Первый кластер | Первый кластер |
ZakromaStorageCluster-1 | 16 | ZakromaCluster-2 | Первый кластер | Второй кластер |
ZakromaGatewayCluster-1 | 16 | ZakromaCluster-2 | Первый кластер | Второй кластер |
ZakromaStorageDeadLetterQueueCluster-1 | 16 | ZakromaCluster-2 | Первый кластер | Второй кластер |
Второй кластер Kafka
| Название топика | Количество партиций (min) | Consumer Group | Кто пишет | Кто читает |
|---|---|---|---|---|
ZakromaNotification | 8 | Zakroma | Второй кластер | Второй кластер |
ZakromaNotificationDeadLetterQueue | 8 | Zakroma | Второй кластер | Второй кластер |
ZakromaSecLog | 8 | Zakroma | Второй кластер | Второй кластер |
ZakromaSecLogDeadLetterQueue | 8 | Zakroma | Второй кластер | Второй кластер |
ZakromaBackgroundCore | 8 | Zakroma | Второй кластер | Второй кластер |
ZakromaWorker0 | 8 | Zakroma | Второй кластер | Второй кластер |
ZakromaWorker1 | 8 | Zakroma | Второй кластер | Второй кластер |
ZakromaStorageCluster-2 | 16 | ZakromaCluster-1 | Второй кластер | Первый кластер |
ZakromaGatewayCluster-2 | 16 | ZakromaCluster-1 | Второй кластер | Первый кластер |
ZakromaStorageDeadLetterQueueCluster-2 | 16 | ZakromaCluster-1 | Второй кластер | Первый кластер |
Основные параметры Kafka
| Параметр | Значение | Описание |
|---|---|---|
partitions | 8 / 16 (min) | Параллелизм обработки. Чем больше партиций, тем выше нагрузка на Kafka и больше перерабатывающая способность. |
replication-factor | 2 (min) | Минимум два брокера осуществляют репликацию топиков для обеспечения отказоустойчивости. |
retention.ms | 259200000 (3 дня) (min) | Время хранения сообщений в топике. |
cleanup.policy | delete | Политика очистки сообщений из топика |
min.insync.replicas | 2 (min) | Гарантия синхронной записи на указанный минимум реплик. |