## Alert rules для Kubernetes

Рекомендуемый набор правил Prometheus для **ЗАКРОМА.Хранение**.

```yaml
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: zakroma-alert-rules
  namespace: monitoring
spec:
  groups:
    - name: zakroma
      rules:
        - alert: BackgroundCountHunging
          annotations:
            description: |
              Zakroma background tasks too much
              VALUE = {{ $value }}
            summary: Too many hung background tasks (service {{ $labels.service }})
          expr: zakroma_background_count{status="Hung"} > 10
          for: 5m
          labels:
            severity: error
        - alert: BackgroundCountPending
          annotations:
            description: |
              The number of pending background tasks is too high.
              VALUE = {{ $value }}
            summary: Too many pending background tasks (service {{ $labels.service }})
          expr: zakroma_background_count{status="Pending"} > 100
          for: 5m
          labels:
            severity: warning
        - alert: RequestsHighFailureRate
          annotations:
            description: |
              More than 5% of requests are failing over the last 1 minutes.
              VALUE = {{ $value }}
            summary: High failure rate in Zakroma requests ({{ $labels.service }})
          expr: |
            (avg(rate(zakroma_requests_counter{status!="Success"}[1m])) 
             / 
             avg(rate(zakroma_requests_counter[1m]))) > 0.05
          for: 1m
          labels:
            severity: warning
        - alert: PodCPUUsageAbove95Percent
          annotations:
            description: >
              Pod {{ $labels.pod }} in namespace {{ $labels.namespace }} is using
              more than 95% of its CPU limit for over 5 minutes.
              
              VALUE = {{ $value }}
            summary: >-
              Pod {{ $labels.namespace }}/{{ $labels.pod }} is using >95% of its CPU
              limit
          expr: |
            (
              sum by(pod, namespace)(
                rate(container_cpu_usage_seconds_total{container!="", namespace="zakroma-storage"}[5m])
              )
              /
              sum by(pod, namespace)(
                kube_pod_container_resource_limits{resource="cpu", namespace="zakroma-storage"} > 0
              )
            ) > 0.95
          for: 5m
          labels:
            severity: critical
        - alert: PodCPUUsageAbove80Percent
          annotations:
            description: >
              Pod {{ $labels.pod }} in namespace {{ $labels.namespace }} is using
              more than 80% of its CPU limit for over 20 minutes.
              
              VALUE = {{ $value }}
            summary: >-
              Pod {{ $labels.namespace }}/{{ $labels.pod }} is using >80% of its CPU
              limit
          expr: |
            (
              sum by(pod, namespace)(
                rate(container_cpu_usage_seconds_total{container!="", namespace="zakroma-storage"}[5m])
              )
              /
              sum by(pod, namespace)(
                kube_pod_container_resource_limits{resource="cpu", namespace="zakroma-storage"} > 0
              )
            ) > 0.8
          for: 20m
          labels:
            severity: warning
```

Alert rules

Мониторинг

Таблица соответствия версий

Изменения в архиве поставки

Changelog

5.0.0

4.2.5

4.2.4

4.2.3

4.2.2

4.2.0

4.1.0

4.0.1 Версия поставки

BareMetal/VMs

Архитектура решения

Подготовка окружения к установке

Версия Helm чарта

Zakroma-Storage

Zakroma-ZDS

Настройка PostgreSQL

Расширенная конфигурация Kafka

Конфигурация фильтрации типов событий аудита на уровне инфраструктуры

Настройка выборочного логирования событий аудита

Настройка Kafka

Описание способов авторизации: file/LDAP/keycloak

Настройка авторизации

Настройка окружения

Установка

Шаблон обращения в поддержку

Инструкция по базовой проверке работоспособности сервисов Zakroma на BareMetal/VMs

Проверка статуса сервисов

Инструкция по ротации логов security audit log в БД PostgreSQL

Ротация Аудит лога (запись в БД)

Где находятся логи приложения

Частые ошибки и их устранение

Описание эндпоинтов /healthz, /readyz, /readynode и их использование для диагностики состояния сервисов ЗАКРОМА.Хранение в Kubernetes

Health-check сервисов в K8s

Диагностика и устранение неполадок

Метрики приложения