# Monitoring stack — Garage cluster (vps01 + bigbox + vps02)

Стек мониторинга для S3-кластера Garage (репликация RF=3, WireGuard 10.8.0.0/24).
Расположен на **bigbox** в `/opt/monitoring`.

## Архитектура

```
                        bigbox (10.8.0.2)
   ┌─────────────────────────────────────────────────┐
   │  prometheus :9090  ── scrape ──► garage x3 :3903 │
   │      │                      (WG admin API)       │
   │      ├──► node-exporter :9100 (bigbox)           │
   │      └──► 10.8.0.1:3903 (vps01)                  │
   │          10.8.0.4:3903 (vps02)                   │
   │                                                  │
   │  grafana :3001  (dashboards, alerts)             │
   │  loki    :3100  (logs)                           │
   │  promtail ── docker.sock ──► docker logs garage  │
   └─────────────────────────────────────────────────┘
        │
        ▼ WireGuard 10.8.0.0/24
   vps01 (10.8.0.1)  vps02 (10.8.0.4)
```

## Сервисы и порты

| Сервис    | Порт      | Доступ             | Примечание                     |
|-----------|-----------|--------------------|--------------------------------|
| Prometheus| 9090      | локально/WG        | retention 30d (TSDB)           |
| Grafana   | 3001      | браузер bigbox     | 3000 занят gitea → 3001        |
| Loki      | 3100      | локально           | сбор логов                     |
| Promtail  | —         | docker.sock        | docker logs garage             |
| node-exp  | 9100      | WG                 | на каждой ноде (системные метрики) |

## Garage admin API (метрики)

В Garage v2.1 admin API (включая `/metrics` в Prometheus-формате) слушает
**отдельный порт** `[admin] api_bind_addr`. На всех трёх нодах прописано:

```toml
[admin]
api_bind_addr = "<WG-IP>:3903"   # bigbox 10.8.0.2, vps01 10.8.0.1, vps02 10.8.0.4
admin_token   = "c213de..."
metrics_token = "c213de..."
```

Проверка метрик:
```
curl -H "Authorization: Bearer c213de..." http://10.8.0.2:3903/metrics
```
`/health` возвращает 200 при кворуме (≥2 нод), 503 иначе.

Порты 3903 открыты только для WG-подсети:
- vps01: `ufw allow from 10.8.0.0/24 to any port 3903`
- vps02/bigbox: файрвол не блокирует (policy ACCEPT)

## Запуск

```
cd /opt/monitoring
docker compose up -d
```

Пароль Grafana — переменная `GRAFANA_ADMIN_PASSWORD` в `.env` (по умолчанию `admin`).

## Полезные команды

```
# статус кластера
docker run --rm -v /opt/garage/garage.toml:/etc/garage.toml:ro \
  -v /opt/garage/meta:/var/lib/garage/meta \
  --entrypoint /garage dxflrs/garage:v2.1.0 status

# метрики одной ноды (Prometheus-формат)
curl -s -H "Authorization: Bearer <token>" http://10.8.0.2:3903/metrics | head

# health
curl -s -o /dev/null -w "%{http_code}" http://10.8.0.2:3903/health
```

## Алерты (prometheus/alerts.yml)

| Алерт              | Условие                        | Severity |
|--------------------|--------------------------------|----------|
| GarageNodeDown     | `up{job="garage"} == 0` (2м)   | critical |
| GarageNoQuorum     | `<2` нод up (2м)               | critical |
| GarageResyncErrors | `garage_block_resync_error_count > 0` (10м) | warning |
| GarageNodeUnstable | RPC health down (5м)           | warning |

## Катастрофоустойчивость

Проект хранится в **двух** git-репозиториях (см. ниже) — на случай поломки bigbox.