

### Alert rules для Kubernetes

```yaml
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: zakroma-alert-rules
  namespace: monitoring
spec:
  groups:
    - name: zakroma
      rules:
        - alert: BackgroundCountHunging
          annotations:
            description: |
              Zakroma background tasks too much
              VALUE = {{ $value }}
            summary: Too many hung background tasks (service {{ $labels.service }})
          expr: zakroma_background_count{status="Hung"} > 10
          for: 5m
          labels:
            severity: error
        - alert: BackgroundCountPending
          annotations:
            description: |
              The number of pending background tasks is too high.
              VALUE = {{ $value }}
            summary: Too many pending background tasks (service {{ $labels.service }})
          expr: zakroma_background_count{status="Pending"} > 100
          for: 5m
          labels:
            severity: warning
        - alert: RequestsHighFailureRate
          annotations:
            description: |
              More than 5% of requests are failing over the last 1 minutes.
              VALUE = {{ $value }}
            summary: High failure rate in Zakroma requests ({{ $labels.service }})
          expr: |
            (avg(rate(zakroma_requests_counter{status!="Success"}[1m])) 
             / 
             avg(rate(zakroma_requests_counter[1m]))) > 0.05
          for: 1m
          labels:
            severity: warning
        - alert: PodCPUUsageAbove95Percent
          annotations:
            description: >
              Pod {{ $labels.pod }} in namespace {{ $labels.namespace }} is using
              more than 95% of its CPU limit for over 5 minutes.
              
              VALUE = {{ $value }}
            summary: >-
              Pod {{ $labels.namespace }}/{{ $labels.pod }} is using >95% of its CPU
              limit
          expr: |
            (
              sum by(pod, namespace)(
                rate(container_cpu_usage_seconds_total{container!="", namespace="zakroma-storage"}[5m])
              )
              /
              sum by(pod, namespace)(
                kube_pod_container_resource_limits{resource="cpu", namespace="zakroma-storage"} > 0
              )
            ) > 0.95
          for: 5m
          labels:
            severity: critical
        - alert: PodCPUUsageAbove80Percent
          annotations:
            description: >
              Pod {{ $labels.pod }} in namespace {{ $labels.namespace }} is using
              more than 80% of its CPU limit for over 20 minutes.
              
              VALUE = {{ $value }}
            summary: >-
              Pod {{ $labels.namespace }}/{{ $labels.pod }} is using >80% of its CPU
              limit
          expr: |
            (
              sum by(pod, namespace)(
                rate(container_cpu_usage_seconds_total{container!="", namespace="zakroma-storage"}[5m])
              )
              /
              sum by(pod, namespace)(
                kube_pod_container_resource_limits{resource="cpu", namespace="zakroma-storage"} > 0
              )
            ) > 0.8
          for: 20m
          labels:
            severity: warning
```

Alert rules

Мониторинг

Приложение может отдавать бизнес-метрики в формате, совместимом с Prometheus, что позволяет настроить стек Prometheus+Grafana для анализа и мониторинга.

При установке через ansible метрики неободимо снимать с каждой ноды: 
*  путь `/metrics`, порт `8081`

При установке в k8s метрики необходимно снимать с подов:
* `zakroma-storage-composer`, путь `/metrics`
* `zakroma-storage-core` путь `/metrics`
* `zakroma-storage-worker` путь `/metrics`

### Метрики Закрома.Хранение
  
| Название                           | Описание                                                                  | Тип метрики |
| ---------------------------------- | ------------------------------------------------------------------------- | ----------- |
| zakroma_requests_counter           | Количество запросов в разрезе операций S3                                 | counter     |
| zakroma_requests_duration          | Длительность обработки запросов в разрезе операций S3                     | histogramm  |
| zakroma_bucket_objects_count       | Количество объектов в бакете                                              | gauge       |
| zakroma_bucket_objects_size        | Размер бакетов, в байтах                                                  | gauge       |
| zakroma_bucket_parts_count         | Количество частей объектов в бакете                                       | gauge       |
| zakroma_bucket_parts_size          | Размер частей файлов в бакете, в байтах                                   | gauge       |
| zakroma_bucket_uploads_count       | Количество загруженных файлов в бакете                                    | gauge       |
| zakroma_bucket_uploads_size        | Размер загруженных файлов в бакете                                        | gauge       |
| zakroma_core_requests_counter      | Количество запросов к подсистеме core в разрезе операций S3               | counter     |
| zakroma_core_requests_duration     | Длительность обработки запросов к подсистеме core в разрезе операций S3   | histogram   |
| zakroma_storage_banners_count      | Количество баннеров в хранилище                                           | gauge       |
| zakroma_storage_parts_count        | Количество частей файлов в хранилище                                      | gauge       |
| zakroma_storage_parts_size         | Размер частей файлов в хранилище                                          | gauge       |
| zakroma_workspace_objects_count    | Количество объектов в рабочей области                                     | gauge       |
| zakroma_workspace_objects_size     | Размер рабочей области, в байтах                                          | gauge       |
| zakroma_workspace_parts_count      | Количество частей объектов в рабочей области                              | gauge       |
| zakroma_workspace_parts_size       | Размер частей файлов в рабочей области, в байтах                          | gauge       |
| zakroma_workspace_uploads_count    | Количество загруженных файлов в рабочей области                           | gauge       |
| zakroma_workspace_uploads_size     | Размер загруженных файлов в рабочей области                               | gauge       |
| zakroma_worker_0_requests_counter  | Количество запросов к подсистеме worker в разрезе операций S3             | counter     |
| zakroma_worker_0_requests_duration | Длительность обработки запросов к подсистеме worker в разрезе операций S3 | histogram   |


### Примеры ServiceMonitor для Prometheus

```yaml
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: zakroma-storage-composer-servicemonitor
  namespace: monitoring
spec:
  endpoints:
    - interval: 5s
      path: /metrics
      port: aux-http
  namespaceSelector:
    matchNames:
      - zakroma-storage
  selector:
    matchLabels:
      app.kubernetes.io/name: zakroma-storage-composer
```

```yaml
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: zakroma-storage-core-servicemonitor
  namespace: monitoring
spec:
  endpoints:
    - interval: 5s
      path: /metrics
      port: aux-http
  namespaceSelector:
    matchNames:
      - zakroma-storage
  selector:
    matchLabels:
      app.kubernetes.io/name: zakroma-storage-core
```

```yaml
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: zakroma-storage-worker-0-servicemonitor
  namespace: monitoring
spec:
  endpoints:
    - interval: 5s
      path: /metrics
      port: aux-http
  namespaceSelector:
    matchNames:
      - zakroma-storage
  selector:
    matchLabels:
      app.kubernetes.io/name: zakroma-storage-worker
      zakroma-worker-index: worker0

```

```yaml
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: zakroma-storage-worker-1-servicemonitor
  namespace: monitoring
spec:
  endpoints:
    - interval: 5s
      path: /metrics
      port: aux-http
  namespaceSelector:
    matchNames:
      - zakroma-storage
  selector:
    matchLabels:
      app.kubernetes.io/name: zakroma-storage-worker
      zakroma-worker-index: worker1
```