> [!warning] Статья описывает ручную установку
> Данная статья описывает ручной вариант настройки. В случае развёртывания с помощью [Ansible-роли](https://zakroma.ru/knowledgeBase/storage/article/ustanovka-cherez-ansible-role?version=2.4), при обновлении, эти настройки будут затёрты. В ближайшие релизы поддержка этого способа адресации будет доступна в Ansible-роли.
## Настройка Virtual-hosted–style

Virtual-hosted-style ([посмотреть в документации AWS](https://docs.aws.amazon.com/AmazonS3/latest/userguide/VirtualHosting.html)) позволяет настроить обращение к данным вида:

```
https://workspace-name.hostname.ru
https://bucket-name.workspace-name.hostname.ru/key-name
```

Ниже приведены шаги для настройки сервиса Nginx, поставляемого вместе с пакетом zakroma-admin.

## 1 Настройка zakroma-gateway

Предположим, что у Вас:
- **hostname.ru** - доменный путь до сервиса gateway 
- **workspace-name** - имя рабочей области, в которой распологается бакет(ы)
- **bucket-name** - имя бакета, к которому настраивается доступ в Virtual-hosted–style

### 1.1 Добавить в конфигурацию zakroma-gateway s3_domain
```
sudo vi /opt/zakroma/zakroma-gateway/cfg/config.yaml
```
Указать параметр s3_domain:
```
s3_domain: hostname.ru
```

###  1.2 Перезапустить zakroma-gateway 
```
sudo systemctl restart zakroma-gateway.service --now
sudo systemctl status zakroma-gateway.service
```

## 2. Cоздание нужных папок
```sh
sudo mkdir -p /etc/nginx/zakroma-nginx
sudo mkdir -p /etc/nginx/zakroma-nginx/zakroma-proxy
sudo mkdir -p /etc/nginx/zakroma-nginx/zakroma-ssl
sudo mkdir -p /etc/nginx/zakroma-nginx/logs
```
## 3. Сгенерировать SSL сертификаты

Необходимо сгенерировать SSL-сертификаты и разместить их в следующей директории:
```sh 
cd /etc/nginx/zakroma-nginx/zakroma-ssl
```
3.1 Сертификат для рабочей области: 
**workspace-name.hostname.ru**
3.2 Wild card cертификат для бакетов:
***.workspace-name.hostname.ru**, где вместо * можно подставить имя бакета, если не хочется использовать wild card сертификат.

Путь сертификата формируется следующим образом:
key путь: /etc/nginx/zakroma-nginx/zakroma-ssl/workspace_name/s3.key
crt путь: /etc/nginx/zakroma-nginx/zakroma-ssl/workspace_name/s3.crt
```
для бакета тот же путь но с постфиксом --b после имени воркспейса (workspace_name/s3--b.crt)
```
> [!info] Настройку самоподписанных сертификатов можно посмотреть [здесь](https://zakroma.ru/knowledgeBase/storage/article/self-signed-ssl-certificate?version=2.4).

## 4. Cоздание конфигурации nginx

### 4.1 Создание общей конфигурации 

Для принудительной переадресации на https нужно настроить файл конфигурации:

```shell
sudo vi /etc/nginx/zakroma-nginx/zakroma-proxy/force-ssl.conf
```
Добавить в файл force-ssl.conf:
```
if ($scheme = "http") {
         return 301 https://$host$request_uri;
}
```
Для настройки логирования входящих запросов нужно настроить файл конфигурации:

```
sudo vi /etc/nginx/zakroma-nginx/zakroma-proxy/proxy-log.conf
```
Добавить в файл proxy-log.conf:
```
server_names_hash_bucket_size  128;
map "" $server {
    default       "0.0.0.0";
}
map "" $port {
    default       0000;
}
 
log_format proxy '[$time_local] $upstream_cache_status $upstream_status $status - $request_method $scheme $host "$request_uri" [Client $remote_addr] [Length $body_bytes_sent] [Gzip $gzip_ratio] [Sent-to $server : $port] "$http_user_agent" "$http_referer"'; 
```

### 4.2 Импорт настроек в nginx 

Добавить импорт настроек в корневой файл nginx:
```sh 
sudo vi /etc/nginx/nginx.conf
```
Добавить **внутрь блока http, перед блоком server** следующие строчки:

```shell
include /etc/nginx/zakroma-nginx/zakroma-proxy/proxy-log.conf;
include /etc/nginx/zakroma-nginx/zakroma-proxy/zakroma-proxy-*.conf;
```
Все конфигурационные файлы с префиксом "zakroma-proxy-" в директории **zakroma-proxy** будут подтягиваться автоматически.

### 4.3 Настройка перенаправления

Для каждой рабочей области (workspace), для которой нужен Virtual-hosted–style, необходимо добавить параметры перенаправления, указанные в двух файлах конфигурации в директорию **/etc/nginx/zakroma-nginx/zakroma-proxy/**:

> [!warning] Порты
Для текущей версии используйте только стандартные порты для http 80, для https 443


Взяв пример конфигурации (см ниже), необходимо поменять следующие параметры, для каждой из двух конфигураций (**для рабочей области, для бакетов в рабочей области**): 
- измените test-workspace-fs на название своей рабочей области в названии файла
- $server - ip/host до zakroma-gateway
- $port - port до zakroma-gateway
- $workspace_name   имя рабочей области
- $base_host_name   базовый доменный адрес
- client_max_body_size - размер максимального парта (взять из конфигурации zakroma-gateway "max_request_body")
- заменить workspace_name в **ssl_certificate, ssl_certificate_key, access_log, error_log** на имя вашей рабочей области


- **Конфигурация для рабочей области** (см. пример zakroma-proxy-test-workspace-fs.conf)

<details>
<summary>Содержимое файла zakroma-proxy-test-workspace-fs.conf</summary>
  
``` sh
sudo vi /etc/nginx/zakroma-nginx/zakroma-proxy/zakroma-proxy-test-workspace-fs.conf
```
  
```
# ------------------------------------------------------------
# workspace-name.hostname.ru
# ------------------------------------------------------------

server {
  # change this variables
  set $server           "127.0.0.1";
  set $port             8081;
  set $workspace_name   workspace-name;
  set $base_host_name   hostname;
  client_max_body_size 8M;
  
  # Custom SSL
  ssl_certificate /etc/nginx/zakroma-nginx/zakroma-ssl/workspace_name/s3.crt;
  ssl_certificate_key /etc/nginx/zakroma-nginx/zakroma-ssl/workspace_name/s3.key;
  
  access_log "/etc/nginx/zakroma-nginx/logs/workspace_name/access.log" proxy;
  error_log "/etc/nginx/zakroma-nginx/logs/workspace_name/error.log" warn;
  
  
  
  
  
  
  listen 443 ssl;
  listen [::]:443 ssl;
  server_name "$workspace_name.$base_host_name";

  # Force SSL
  include /etc/nginx/zakroma-nginx/zakroma-proxy/force-ssl.conf;

  location ~ ^/(.*) {
	proxy_set_header Host $http_host;
	proxy_set_header X-Forwarded-Scheme $scheme;
	proxy_set_header X-Forwarded-Proto  $scheme;
	proxy_set_header X-Forwarded-For    $remote_addr;
	proxy_set_header X-Real-IP          $remote_addr;
	proxy_pass       http://$server:$port/s3/$1$is_args$args;

	# Force SSL
	include /etc/nginx/zakroma-nginx/zakroma-proxy/force-ssl.conf;

	add_header x-forwarded-path $request_uri;
  }

}
```

</details>


- **Конфигурация для бакетов текущей рабочей области** (см. пример zakroma-proxy-test-workspace-fs--b.conf)

<details>
<summary>Содержимое файла zakroma-proxy-test-workspace-fs--b.conf</summary>

``` sh
sudo vi /etc/nginx/zakroma-nginx/zakroma-proxy/zakroma-proxy-test-workspace-fs--b.conf
```

```
# ------------------------------------------------------------
# *.workspace-name.hostname.ru
# ------------------------------------------------------------

server {
  # change this variables
  set $server           "127.0.0.1";
  set $port             8081;
  set $workspace_name   workspace-name;
  set $base_host_name   hostname;
  client_max_body_size 8M;
  
	# Custom SSL
  ssl_certificate /etc/nginx/zakroma-nginx/zakroma-ssl/workspace_name/s3--b.crt;
  ssl_certificate_key /etc/nginx/zakroma-nginx/zakroma-ssl/workspace_name/s3--b.key;
  
  access_log "/etc/nginx/zakroma-nginx/logs/workspace_name/access--b.log" proxy;
  error_log "/etc/nginx/zakroma-nginx/logs/workspace_name/error--b.log" warn;
  
  
  
  
  
  
  
  
  listen 443 ssl;
  listen [::]:443 ssl;
  server_name "*.$workspace_name.$base_host_name";
  

  # Force SSL
  include /etc/nginx/zakroma-nginx/zakroma-proxy/force-ssl.conf;
 

  location ~ ^/(.*) {
	proxy_set_header Host $http_host;
	proxy_set_header X-Forwarded-Scheme $scheme;
	proxy_set_header X-Forwarded-Proto  $scheme;
	proxy_set_header X-Forwarded-For    $remote_addr;
	proxy_set_header X-Real-IP          $remote_addr;
	proxy_pass       http://$server:$port/s3/$1$is_args$args;

	# Force SSL
	include /etc/nginx/zakroma-nginx/zakroma-proxy/force-ssl.conf;

	add_header x-forwarded-path $request_uri;
  }

}

```
</details>

> [!info] Чтобы конфигурации автоматически подтягивались необходимо их называть по шаблону zakroma-proxy-*.conf Рекомендация для конфигурации бакетов называть с таким же именем, добавляя в конце постфикс --b например zakroma-proxy-test-workspace-fs--b.conf

 
> [!info] Расположение логов:
>
> access_log /etc/nginx/zakroma-nginx/logs/workspace-name/access.log 
> error_log /etc/nginx/zakroma-nginx/logs/workspace-name/error.log 
> 
> где workspace_name - имя рабочей области, для бакета тот же путь но с постфиксом --b  (workspace_name/access--b.log )


**Cоздать папки для логов:**
Измените название на имя вашей рабочей области и выполните команду:
```
export WORKSPACE_NAME="your-workspace-name"
```
Команда для создания папки логов
```shell
sudo mkdir -p /etc/nginx/zakroma-nginx/logs/$WORKSPACE_NAME
```


## 5. Перезапуск nginx 
```shell
sudo systemctl restart nginx.service --now
sudo systemctl status nginx.service
```




Настройка Virtual-hosted–style

Окружение

## Настройка на версии keycloak  >= 19.X.X

1. Заходим в keycloak.
Выбираем существующий или создаём новый realm. 
2. Необходимо создать нового клиента. Переходим в Clients, в открывшимся окне нажимаем create и создаем нового Client ID с именем zakroma В новом окне настройки меняем:
        - `Client authentication: On`
        - `Authorization: On`

3. Настраиваем сервисный аккаунт
**Clients -> Zakroma -> Service Account Roles**.  
Нажать `Assign role` -> Выбрать `admin` -> `Assign`

4. Настраиваем маппинг для пользователей
**Clients -> Zakroma -> Сlient Scopes -> zakroma-dedicated** . 
**Add mapper -> By configuraton -> User Attribute**.
        - `Mapper Type: User Attribute`     
        - `Name: username-mapper`
        - `User Attribute: username`
        - `Token Claim Name: username`
        - `Claim JSON Type: String`
        - `Add to access token: ON`   

1. `Realm Settings -> Keys` копируем kid и pyblic_key ключа с алгоритмом RS256 в настройки уствновки zakroma. 

2. `Clients -> zakroma -> Credentials` копируем clientSecret в настройки уствновки zakroma. 

3. Увеличим время жизни токена. Переходим на вкладки слева `Realm Settings -> Tokens`. Проставим следующее значение:
	
	- `Access Token Lifespan: 10 minute`
  

4. Настройка реестра пользователей

> [!info] Для тестов без LDAP
> Для тестового использования возможно использовать внутренний реестр пользователей keycloak, без интеграции с ldap.

<button tabpanelId="test" tabId="ldap-tab" isActive="true"> LDAP </button>
<button tabpanelId="test" tabId="keycloak-tab"> Keycloak inner </button>
<details tabpanelId="test" tabId="ldap-tab" isActive="true">
   <summary></summary>

#### Используется при хранеии пользователей в LDAP репозитории

#### На вкладке User Federation -> Add new provider -> ldap 
--------------

Далее заполняем значения (на примере OpenLdap):

	- `Vendor: other #other если используется OpenLdap и Active Directory если Active Directory`
	- `Connection URL: ldap://openldap.openldap.svc.cluster.local:389`
	- `Bind Type: simple`
	- `Bind DN: cn=admin,dc=demo,dc=zakroma,dc=ru`
	- `Bind Credential: xxx`
	- `Edit Mode: UNSYNCED`
	- `Users DN: ou=users,dc=demo,dc=zakroma,dc=ru`
	- `Username LDAP attribute: cn`
	- `RDN LDAP attribute: cn`
	- `UUID LDAP attribute: cn`
	- `User Object Classes: person, organizationalPerson`


и нажимаем <kbd>Save</kbd>. 

#### Далее создаём маппер из Ldap в Keycloak: Mappers -> Add mapper
--------------
Создаем mapper c именем role-mapper c типом `role-ldap-mapper`.
Общая суть сводится к синхронизацию групп AD с ролями пользователей в keycloak. Пример настроек:
	- `LDAP Roles DN: ou=groups,dc=demo,dc=zakroma,dc=ru`
	- `Role Name LDAP Attribute: cn`
	- `Role Object Classes: groupOfUniqueNames`
	- `Membership LDAP Attribute: uniqueMember`
	- `Membership Attribute Type: DN`
	- `Membership User LDAP Attribute: uid`
	- `Mode: LDAP_ONLY`
	- `User Role Retrieve Strategy: LOAD_ROLES_BY_MEMBER_ATTRIBUTE`
	- `Member-Of LDAP Attribute: memberOf`
	- `ClientID: zakroma`


#### Создаём ещё один mapper c именем username-mapper c типом `user-attribute-ldap-mapper`:
--------------
	- `User Model Attribute: username`
	- `LDAP Attribute: uid`


####  Синхронизируем пользователей.
--------------
Возвращаемся к настройкам на вкладке `User Federation -> ldap -> settings` и жмем на синхронизацию всех пользователей, тут должны увидеть что пользователи были добавлены. 

####  В необходимых настройках Zakroma необходимо выставить значение свойства userRoleName в то название роли, в которая присутствует у всех нужных пользователей. Т.е. только пользователи с даной ролью смогут пользоваться системой Zakroma.

</details>

<details tabpanelId="test" tabId="keycloak-tab">
<summary></summary>

#### Используется для тестирования, либо нестандартной конфигурации

#### Создаём роли: Clients -> Zakroma -> Roles
--------------
По кнопке `Create role` добавить роль:
        - `clouduser`
   
#### Создаём польвателей в Keycloak: Users -> Add user
--------------
```
Username: zakromaadmin
First name: Admin
Last name: Zakroma
```

#### Задаём пароль: Users -> zakromaadmin -> Credentials -> Set password
--------------
        - `Temporary: off`

#### Назначаем роль: User -> zakromaadmin -> Role mapping -> Assign Role
--------------
Переключить в режим Filter by Clients  -> в поиске написать "zakroma"
        - `clouduser`      

</details>







Настройка Keycloak


## Установка PostgreSQL

При установке лучше ориентироваться на рекомендации по установке конкретной версии PostgreSQL (рекомендуемая версия - 16).

### Вариант установки и настройки PostgreSQL

Установить **postgresql-server (v16+):**

```sh 
sudo yum install -y postgresql-server
```

Запустить сервис базы данных:
```sh 
sudo /usr/bin/postgresql-setup --initdb
sudo systemctl enable postgresql.service --now
```

Установить **postgresql-contrib (v12+):**
```sh 
sudo yum install -y postgresql-contrib
```

Настроить доступ к базе с требуемых узлов в файле **/var/lib/pgsql/data/pg_hba.conf**, закомментировать строки содержащие **ident** и добавить следующее:
```text
host    all             all             127.0.0.1/32            md5
host    all             all             ::1/128                 md5
local   all             all                                     md5
```

Перезапустить сервис:
```sh
sudo systemctl restart postgresql.service --now
```

### Создать базу(ы) данных и схемы

1. Зайти под пользователем с админ. правами (по умолчанию - postgres):
```sh 
sudo su - postgres
```

2. Подключиться к базе через psql:
```sh 
psql -U postgres -d postgres
```
3. Выполнить SQL команды для создания пользователя и cхем. Заменить значение **zakroma_password** на своё:
```sql
-- Zakroma
CREATE USER zakroma_user LOGIN PASSWORD 'zakroma_password';
create DATABASE permission WITH OWNER zakroma_user;
create DATABASE core WITH OWNER zakroma_user;
create DATABASE seclog WITH OWNER zakroma_user;
create DATABASE notification WITH OWNER zakroma_user;
create DATABASE worker0 WITH OWNER zakroma_user;

\c permission;
CREATE SCHEMA if not exists  public;
\c core;
CREATE SCHEMA if not exists  public;
\c seclog;
CREATE SCHEMA if not exists  public;
\c notification;
CREATE SCHEMA if not exists  public;
\c worker0;
CREATE SCHEMA if not exists  public;

```

> [!info] Базы или Схемы
> Вы можете использовать одну общую базу данных с разными схемами или создать отдельные базы данных и в каждой одну схему. Главное корректно прописать эти базы и схемы в конфигурации при инсталляции сервисов ЗАКРОМА.


```sql
-- Zakroma
CREATE USER zakroma_user LOGIN PASSWORD 'zakroma_password';
CREATE DATABASE zakroma WITH OWNER zakroma_user;
\c zakroma;
DROP SCHEMA public;
CREATE SCHEMA core AUTHORIZATION zakroma_user;
CREATE SCHEMA permission AUTHORIZATION zakroma_user;
CREATE SCHEMA seclog AUTHORIZATION zakroma_user;
CREATE SCHEMA notification AUTHORIZATION zakroma_user;
CREATE SCHEMA worker0 AUTHORIZATION zakroma_user;

```

4. Дополнительно необходимо создать extension в схеме `worker1` при версии postgres <13
``` sql
-- При устновке в разные БД
\c worker1

CREATE EXTENSION if not exists pgcrypto CASCADE;
```

``` sql
-- При устновке в разные схемы в рамках одной БД
\c zakroma

CREATE EXTENSION if not exists pgcrypto SCHEMA worker1;
```
5. После создания баз и схем выйти из учетной psql:
```sh
exit
```
Затем выйти из учетной записи postgres:
```sh
exit
```

## Дальнейшие шаги

- Оптимизировать параметры PostgreSQL (опционально):
     - Проверить и установить параметр sharedbuffers = 1024MB ( или 25% от общего размера ОЗУ системы) в файле конфигурации `postgresql.conf`



Настройка PostgreSQL

# Пример генерации самоподписанного SSL
1. Перейти в директорию с ssl сертификатами
```shell
cd /etc/nginx/zakroma-nginx/zakroma-ssl
```

2. Корневой открытый сертификат, выполнить команду, а потом прописать в common : <HOST_NAME> например s3.rpm.spiritcloud.digital-spirit.ru
```shell
sudo openssl genrsa -out CAPrivate.key 2048
sudo openssl req -x509 -new -nodes -key CAPrivate.key -sha256 -days 3650 -out CAPrivate.pem
```

3.1 Создать конфиг ssl
```shell
sudo vi openssl.ss.cnf 
```
Содержимое openssl.ss.cnf поменять базовое днс имя
```
basicConstraints=CA:FALSE
subjectAltName=DNS:*.s3.rpm.spiritcloud.digital-spirit.ru
extendedKeyUsage=serverAuth
```
Задать переменную среды которая отвечает за название файлов, вписать имя своей рабочей области:
```
export WORKSPACE_NAME="test-workspace-fs"
```

3.2 Генерация для имя рабочей области выполнить команду, а потом прописать common : <HOST_NAME> например test-workspace-fs.s3.rpm.spiritcloud.digital-spirit.ru, где test-workspace-fs - имя имя рабочей области

```
sudo mkdir -p "./$WORKSPACE_NAME" && sudo openssl genrsa -out $WORKSPACE_NAME/s3.key 2048 && sudo openssl req -new -key $WORKSPACE_NAME/s3.key -extensions v3_ca -out $WORKSPACE_NAME/s3.csr && sudo openssl x509 -req -in $WORKSPACE_NAME/s3.csr -CA CAPrivate.pem -CAkey CAPrivate.key -CAcreateserial -extfile openssl.ss.cnf -out $WORKSPACE_NAME/s3.crt -days 365 -sha256
 ```
 
3.3 Генерация для бакетов выполнить команду, а потом прописать common : <HOST_NAME> например *.test-workspace-fs.s3.rpm.spiritcloud.digital-spirit.ru ,  где test-workspace-fs - имя рабочей области, если не хочется использовать wild card сертефикат  * - имя бакета
```
sudo mkdir -p "./$WORKSPACE_NAME" && sudo openssl genrsa -out $WORKSPACE_NAME/s3--b.key 2048 && sudo openssl req -new -key $WORKSPACE_NAME/s3--b.key -extensions v3_ca -out $WORKSPACE_NAME/s3--b.csr && sudo openssl x509 -req -in $WORKSPACE_NAME/s3--b.csr -CA CAPrivate.pem -CAkey CAPrivate.key -CAcreateserial -extfile openssl.ss.cnf -out $WORKSPACE_NAME/s3--b.crt -days 365 -sha256
```

Self signed ssl certificate

## ZDS (Zakroma.Storage)

**Zakroma.Storage** - это вариант использования в качестве ресурса хранения серверов с дисками. Архитектура поддерживает отказоустойчивое хранение как на уровне дисков (при применении Erasure coding), так и на уровне узлов хранилища.

![image | 500](https://storage.yandexcloud.net/zakroma-ru/media/e31e60eef8f0a4f88408a44c272022af.png)

> [!info] Для каждого узла хранения требуется установить/настроить пакет zakroma-ds-agent

## Установка

>[!info] Ansible
>Ниже описана ручная установка пакетов. Рекомендуем воспользоваться поставляемой актуальной версией Ansible-роли, которая позволяет установить пакеты быстрее и сразу на несколько узлов. См. [Установка через Ansible](https://zakroma.ru/knowledgeBase/storage/article/ustanovka-cherez-ansible-role?version=2.3)


* Скачать rpm/dep пакет для установки zakroma-ds-agent, сохранить в домашнюю папку (в качестве примера)
  ```bash
  wget --user <LOGIN> --password <PASSWORD> https://nexus.digital-spirit.ru/repository/zakroma-deb/zakroma/zakroma-agent/zakroma-ds-agent-X.X.X-Y.deb 
  ```
* Выполнить установку пакета 
  * для apt
    ```bash
    sudo apt install ./zakroma-ds-agent-X.X.X-Y.deb
    ```
  * для apt-get
    ```bash
    sudo dpkg -i ./zakroma-ds-agent-X.X.X-Y.deb
    sudo apt-get install -f
    ```
  * для yum
    ```bash
    sudo yum localinstall ./zakroma-ds-agent-X.X.X-Y.rpm
    ```
* Выполнить настройку пакета
  * конфигурация располагается по пути `/opt/zakroma/zakroma-ds-agent/cfg/config.yaml`
> Необходимо предоставить права на запись для пользователя `zakroma-ds-agent` для  пути, указанного для `volumes.path` {.is-warning}

  * пример конфигурации (3 ноды, в каждой ноде по 1 volume, EC 3:1):

    ```yaml
      log:
        level: INFO #уровень логирования
      server:
        port: 8080 #порт для работы приложения
      tls: #настройка tls
        enable: false #по умолчанию отключена
        key: /opt/zakroma/zakroma-ds-agent/tls/key.key # путь до закрытого ключа, необходимо сгенерировать
        crt: /opt/zakroma/zakroma-ds-agent/tls/crt.key # путь до открытого ключа, необходимо сгенерировать,  добавить сертификат в список доверенных (добавить .crt в /etc/ssl/certs)
      logic:
        statusConfigPath: /opt/zakroma/zakroma-ds-agent/bin/node_status.yaml # расположение служебного файла текущего статуса ноды
        changelog:
          changelogPath: /opt/zakroma/zakroma-ds-agent/bin/changelog #расположение служебного файла changelog
      auth:
        username: #Логин для доступа, нужно сгенерировать
        password: #Пароль для доступа, нужно сгенерировать
      nodeName: node1 #имя текущей ноды
      dataPart: 2 #кол-во частей для данных
      parityPart: 1 #кол-во частей для востановления 
      nodes: # приведена конфигурация для 3 нод, по одному volume на каждой ноде
        - name: node1
          hostPort: 10.1.0.16:8080 #host + port для ноды, значение указано в качестве примера
          volumeCount: 1
        - name: node2
          hostPort: 10.1.0.17:8080 #host + port для ноды, значение указано в качестве примера
          volumeCount: 1
        - name: node3
          hostPort: 10.1.0.18:8080 #host + port для ноды, значение указано в качестве примера
          volumeCount: 1
      volumes:
        - index: 1 #индексы для volume, начинаются с 1
          path: /mnt/agent/volume1 #расположения места для хранения файлов
    ```
    
    * пример конфигурации для однонодовой конфигурации:
    ```yaml
      log:
        level: INFO #уровень логирования
      server:
        port: 8080 #порт для работы приложения
      tls: #настройка tls
        enable: false #по умолчанию отключена
        key: /opt/zakroma/zakroma-ds-agent/tls/key.key # путь до закрытого ключа, необходимо сгенерировать
        crt: /opt/zakroma/zakroma-ds-agent/tls/crt.key # путь до открытого ключа, необходимо сгенерировать, добавить сертификат в список доверенных (добавить .crt в /etc/ssl/certs)
      auth:
        username: #Логин для доступа, нужно сгенерировать
        password: #Пароль для доступа, нужно сгенерировать
      logic:
        mode: FS
      volumes:
        - index: 1 #индексы для volume, начинаются с 1
          path: /mnt/agent/volume1 #расположения места для хранения файлов
    ```
* Перезапустить службу
  ```bash
  sudo systemctl restart zakroma-ds-agent.service --now
  ```

## Что дальше?
Добавьте в административной консоли новое хранилище, указав путь к установленной службе Zakroma.Storage (ZDS) (см. [Настройка хранилища](https://zakroma.ru/knowledgeBase/storage/article/storages?version=2.4))


Настройка Zakroma.Storage (ZDS)

Приложение может отдавать бизнес-метрики в формате, совместимом с Prometheus, что позволяет настроить стек Prometheus+Grafana для анализа и мониторинга.

При установке пакетами метрики можно снимать с 
* `zakroma-storage`, порт по умолчанию `8081`, путь `/metrics`

При установке в k8s метрики можно снимать с нод
* `composer`, порт по умолчанию `8180` (`global.config.composer.service.auxTargetPort`), путь `/metrics`
* `core`, порт по умолчанию `8180` (`global.config.core.service.auxTargetPort`), путь `/metrics`
* `worker` , порт по умолчанию `8180` (`global.config.worker.workers[].service.auxTargetPort`), путь `/metrics`

### Метрики Закрома.Хранение
  
| Название                           | Описание                                                                  | Тип метрики |
| ---------------------------------- | ------------------------------------------------------------------------- | ----------- |
| zakroma_requests_counter           | Количество запросов в разрезе операций S3                                 | counter     |
| zakroma_requests_duration          | Длительность обработки запросов в разрезе операций S3                     | histogramm  |
| zakroma_bucket_objects_count       | Количество объектов в бакете                                              | gauge       |
| zakroma_bucket_objects_size        | Размер бакетов, в байтах                                                  | gauge       |
| zakroma_bucket_parts_count         | Количество частей объектов в бакете                                       | gauge       |
| zakroma_bucket_parts_size          | Размер частей файлов в бакете, в байтах                                   | gauge       |
| zakroma_bucket_uploads_count       | Количество загруженных файлов в бакете                                    | gauge       |
| zakroma_bucket_uploads_size        | Размер загруженных файлов в бакете                                        | gauge       |
| zakroma_core_requests_counter      | Количество запросов к подсистеме core в разрезе операций S3               | counter     |
| zakroma_core_requests_duration     | Длительность обработки запросов к подсистеме core в разрезе операций S3   | histogram   |
| zakroma_storage_banners_count      | Количество баннеров в хранилище                                           | gauge       |
| zakroma_storage_parts_count        | Количество частей файлов в хранилище                                      | gauge       |
| zakroma_storage_parts_size         | Размер частей файлов в хранилище                                          | gauge       |
| zakroma_workspace_objects_count    | Количество объектов в рабочей области                                     | gauge       |
| zakroma_workspace_objects_size     | Размер рабочей области, в байтах                                          | gauge       |
| zakroma_workspace_parts_count      | Количество частей объектов в рабочей области                              | gauge       |
| zakroma_workspace_parts_size       | Размер частей файлов в рабочей области, в байтах                          | gauge       |
| zakroma_workspace_uploads_count    | Количество загруженных файлов в рабочей области                           | gauge       |
| zakroma_workspace_uploads_size     | Размер загруженных файлов в рабочей области                               | gauge       |
| zakroma_worker_0_requests_counter  | Количество запросов к подсистеме worker в разрезе операций S3             | counter     |
| zakroma_worker_0_requests_duration | Длительность обработки запросов к подсистеме worker в разрезе операций S3 | histogram   |

### Стандартные метрики  
  
| Название                                   | Описание                                                                                            | Тип метрики |
| ------------------------------------------ | --------------------------------------------------------------------------------------------------- | ----------- |
| go_gc_duration_seconds                     | Суммарное время продолжительности вызовов GC.                                                       | summary     |
| go_goroutines                              | Количество существующих в данный момент goroutines.                                                 | gauge       |
| go_info                                    | Информация о среде Go.                                                                              | gauge       |
| go_memstats_alloc_bytes                    | Количество выделенных и все еще используемых байтов.                                                | gauge       |
| go_memstats_alloc_bytes_total              | Общее количество выделенных байтов, даже если они освобождены.                                      | counter     |
| go_memstats_buck_hash_sys_bytes            | Число байтов, используемых bucket hash table.                                                       | gauge       |
| go_memstats_frees_total                    | Общее количество frees.                                                                             | counter     |
| go_memstats_gc_cpu_fraction                | Доля доступного процессорного времени этой программы, используемого GC с момента запуска программы. | gauge       |
| go_memstats_gc_sys_bytes                   | Число байтов, используемых для метаданных системы сборки мусора.                                    | gauge       |
| go_memstats_heap_alloc_bytes               | Число байтов кучи, выделенных и все еще используемых.                                               | gauge       |
| go_memstats_heap_idle_bytes                | Количество байтов динамической памяти, ожидающих использования.                                     | gauge       |
| go_memstats_heap_inuse_bytes               | Число байтов кучи, которые используются.                                                            | gauge       |
| go_memstats_heap_objects                   | Количество выделенных объектов.                                                                     | gauge       |
| go_memstats_heap_released_bytes            | Количество байтов кучи, освобожденных для ОС.                                                       | gauge       |
| go_memstats_heap_sys_bytes                 | Количество байтов кучи, полученных из системы.                                                      | gauge       |
| go_memstats_last_gc_time_seconds           | Количество секунд с момента последней сборки мусора с 1970 года.                                    | gauge       |
| go_memstats_lookups_total                  | Общее число поисков указателя.                                                                      | counter     |
| go_memstats_mallocs_total                  | Общее число malloc.                                                                                 | counter     |
| go_memstats_mcache_inuse_bytes             | Количество байтов, используемых структурами mcache.                                                 | gauge       |
| go_memstats_mcache_sys_bytes               | Количество байтов, используемых для структур mcache, полученных из системы.                         | gauge       |
| go_memstats_mspan_inuse_bytes              | Количество байтов, используемых структурами mspan.                                                  | gauge       |
| go_memstats_mspan_sys_bytes                | Количество байтов, используемых для структур mspan, полученных из системы.                          | gauge       |
| go_memstats_next_gc_bytes                  | Количество байтов кучи, по которым будет выполнена следующая сборка мусора.                         | gauge       |
| go_memstats_other_sys_bytes                | Количество байтов, используемых для других системных выделений.                                     | gauge       |
| go_memstats_stack_inuse_bytes              | Количество байтов, используемых распределителем стека.                                              | gauge       |
| go_memstats_stack_sys_bytes                | Количество байтов, полученных от системы для распределителя стека.                                  | gauge       |
| go_memstats_sys_bytes                      | Количество байтов, полученных от системы.                                                           | gauge       |
| go_threads                                 | Количество созданных потоков ОС.                                                                    | gauge       |
| process_cpu_seconds_total                  | Общее время процессора пользователя и системы, затраченное в секундах.                              | counter     |
| process_max_fds                            | Максимальное количество открытых файловых дескрипторов.                                             | gauge       |
| process_open_fds                           | Количество открытых файловых дескрипторов.                                                          | gauge       |
| process_resident_memory_bytes              | Размер резидентной памяти в байтах.                                                                 | gauge       |
| process_start_time_seconds                 | Время начала процесса с эпохи Unix в секундах.                                                      | gauge       |
| process_virtual_memory_bytes               | Размер виртуальной памяти в байтах.                                                                 | gauge       |
| process_virtual_memory_max_bytes           | Максимальный объем доступной виртуальной памяти в байтах.                                           | gauge       |
| promhttp_metric_handler_requests_in_flight | Текущее количество обслуживаемых запросов.                                                          | gauge       |
| promhttp_metric_handler_requests_total     | Общее количество запросов по коду статуса HTTP.                                                     | counter     |
  

### Пример дашбордов

![image](https://storage.yandexcloud.net/zakroma-ru/media/577c08087e7ec564e136e864b9a26676.png)

![image](https://storage.yandexcloud.net/zakroma-ru/media/29863c73d60f55156d9f33f9aed39bb8.png)


Метрики

Описание общей архитектуры решения и компонент

Архитектура решения

Первые шаги в приложении

Начало работы

Расчет требований к инфраструктуре

Требования

С чего начать

Установка через ansible

Установка тестовой инсталляции на 1 сервере

Установка на 1 сервере (Single Node)

Установка варианта с мультикластером

Подготовка окружения к установке

Описание типовой установки в 1 кластере

Установка базового кластера

Бинарные пакеты

Подготовка инфраструктуры

Установка helm-чартами

Контейнеры

Установка

CLI (Command Line Interface, zcli)

Отслеживание задач и статуса системы

Мониторинг

Описание работы страницы с операциями

Операции

Описание типов хранилищ

Тип Хранилища

Удаление бакета

Шардирование

Как создавать и настраивать бакеты

Бакет (bucket)

Версионирование бакета

Версионирование

Подключение ресурса хранения

Хранилища

Публичные бакеты

Управление рабочими областями

Рабочие области

CORS

Просмотр бакета

Настройка хранения

Фильтрация по IP

Политики доступа предназначены для создания правил разграничения доступа пользователей к операциям S3.

Политики доступа

Группы пользователей

Управление ключами доступа

Профиль пользователя

Редактирование информации о пользователях

Пользователи

Администраторы workspace/bucket

Роли

Доступ

Настройка конфигурации для пакетов

Принцип работы кластерного режима

Мультикластер

Настройка конфигурации для kubernetes

Включение кластерного режима

Добавление кластера

Управление

Путь хранения объектов бакета на подключенном хранилище

Формирование пути хранения данных

Механизм оповещения других систем о событиях в хранилище.

Webhooks

Как подключить хранилище с уже имеющимися данными в нем

Подключение хранилища с данными

Правила жизненного цикла данных

Жизненный цикл

Политика Зеркалирование позволяет настроить синхронную и асинхронную репликацию бакета

Зеркалирование

Политика Расширение позволяет объединить несколько ресурсов хранения

Расширение

Политики хранения

Перенос данных бакета из одного Хранилища в другое

Миграция данных

Описание возможностей масштабирования объёма хранения кластера

Масштабирование объёма хранения

Таблица поддерживаемых методов AWS S3

Поддержка методов AWS S3

Настройка подключения к Закрома Хранение

Подключение к Закрома.Хранение

Краткое описание схемы работы Erasure Coding

Отказоустойчивость

Использование

Что изменилось в приложении в текущем релизе