docs(monitoring): описать node-exporter/cAdvisor и алерты по железу
Документация мониторинга описывала только старые компоненты (prometheus, postgres/redis-exporter, дашборд пайплайнов) — актуализирована под node-exporter/cAdvisor, дашборд host.json и три новых алерта.
This commit is contained in:
@@ -10,11 +10,25 @@
|
|||||||
| `prometheus` | `prom/prometheus:v3.13.1` | `9090` | сбор и хранение метрик, оценка правил алертинга |
|
| `prometheus` | `prom/prometheus:v3.13.1` | `9090` | сбор и хранение метрик, оценка правил алертинга |
|
||||||
| `postgres-exporter` | `quay.io/prometheuscommunity/postgres-exporter:v0.20.1` | — (внутренний) | метрики PostgreSQL |
|
| `postgres-exporter` | `quay.io/prometheuscommunity/postgres-exporter:v0.20.1` | — (внутренний) | метрики PostgreSQL |
|
||||||
| `redis-exporter` | `oliver006/redis_exporter:v1.87.0-alpine` | — (внутренний) | метрики Redis |
|
| `redis-exporter` | `oliver006/redis_exporter:v1.87.0-alpine` | — (внутренний) | метрики Redis |
|
||||||
| `grafana` | `grafana/grafana:13.1.0` | `3001` (внутри контейнера `3000`) | дашборд «Пайплайны пост-обработки» |
|
| `node-exporter` | `prom/node-exporter:v1.8.2` | — (внутренний) | метрики хоста: CPU, память, диск, сеть, load average |
|
||||||
|
| `cadvisor` | `gcr.io/cadvisor/cadvisor:v0.49.2` | — (внутренний) | метрики по каждому контейнеру (CPU/память) |
|
||||||
|
| `grafana` | `grafana/grafana:13.1.0` | `3001` (внутри контейнера `3000`) | дашборды «Пайплайны пост-обработки» и «Хост и контейнеры» |
|
||||||
|
|
||||||
|
`node-exporter`/`cadvisor` не публикуют порт на хост вообще (не только
|
||||||
|
127.0.0.1) — Prometheus ходит к ним по имени сервиса во внутренней сети
|
||||||
|
compose, публикация на хост для этого не нужна. `cadvisor` смонтирован
|
||||||
|
к `/var/run/docker.sock` только на чтение (`:ro`) и запущен с
|
||||||
|
`--docker_only` + урезанным набором коллекторов (`--disable_metrics`) —
|
||||||
|
он заметно дороже `node-exporter` по CPU/RAM, урезание снижает накладные
|
||||||
|
расходы. Если на конкретном сервере это всё равно избыточно —
|
||||||
|
`cadvisor` можно убрать из `deploy/docker-compose.yml`, оставив только
|
||||||
|
`node-exporter` (метрики хоста при этом не пострадают, пропадёт только
|
||||||
|
разбивка по контейнерам).
|
||||||
|
|
||||||
Файлы: `deploy/monitoring/prometheus.yml`, `deploy/monitoring/alerts.yml`,
|
Файлы: `deploy/monitoring/prometheus.yml`, `deploy/monitoring/alerts.yml`,
|
||||||
`deploy/monitoring/grafana/provisioning/` (datasource + провайдер
|
`deploy/monitoring/grafana/provisioning/` (datasource + провайдер
|
||||||
дашбордов), `deploy/monitoring/grafana/dashboards/pipelines.json`.
|
дашбордов), `deploy/monitoring/grafana/dashboards/pipelines.json`,
|
||||||
|
`deploy/monitoring/grafana/dashboards/host.json`.
|
||||||
|
|
||||||
## 2. Запуск
|
## 2. Запуск
|
||||||
|
|
||||||
@@ -37,9 +51,9 @@ ssh -L 9090:127.0.0.1:9090 -L 3001:127.0.0.1:3001 <user>@<host>
|
|||||||
```
|
```
|
||||||
и открывайте `http://localhost:9090` / `http://localhost:3001` у себя.
|
и открывайте `http://localhost:9090` / `http://localhost:3001` у себя.
|
||||||
|
|
||||||
Дашборд «Пайплайны пост-обработки» (папка VidConf в Grafana) появляется
|
Дашборды «Пайплайны пост-обработки» и «Хост и контейнеры» (папка VidConf
|
||||||
сразу — источник данных и дашборд провижинятся из файлов, без ручной
|
в Grafana) появляются сразу — источник данных и дашборды провижинятся из
|
||||||
настройки.
|
файлов, без ручной настройки.
|
||||||
|
|
||||||
## 3. Метрики backend
|
## 3. Метрики backend
|
||||||
|
|
||||||
@@ -78,6 +92,13 @@ Job `llm` в `prometheus.yml` скрейпит `llm:8080/metrics`
|
|||||||
| `PipelineFailed` | рост числа сеансов в статусе `failed` за 15 минут | critical |
|
| `PipelineFailed` | рост числа сеансов в статусе `failed` за 15 минут | critical |
|
||||||
| `QueueGrowing` | глубина очереди растёт 15 минут подряд и превышает 10 задач | warning |
|
| `QueueGrowing` | глубина очереди растёт 15 минут подряд и превышает 10 задач | warning |
|
||||||
| `LlmDown` | `up{job="llm"} == 0` дольше 2 минут | critical (закомментирован по умолчанию) |
|
| `LlmDown` | `up{job="llm"} == 0` дольше 2 минут | critical (закомментирован по умолчанию) |
|
||||||
|
| `HostMemoryLow` | свободно <10% RAM (≈800 МБ из 8 ГБ) дольше 10 минут | warning |
|
||||||
|
| `HostDiskLow` | свободно <10% диска (≈5 ГБ из 50 ГБ) дольше 15 минут | warning |
|
||||||
|
| `HostCpuHigh` | загрузка CPU >90% дольше 15 минут подряд | warning |
|
||||||
|
|
||||||
|
Пороги трёх алертов по железу подобраны под конкретный сервер `1gb`
|
||||||
|
(8 ГБ RAM, 4 CPU, 50 ГБ диска) — при смене сервера пересчитать
|
||||||
|
(`deploy/monitoring/alerts.yml`, группа `vidconf-host`).
|
||||||
|
|
||||||
`LlmDown` актуален только на инсталляциях с профилем `llm`/`llm-gpu`
|
`LlmDown` актуален только на инсталляциях с профилем `llm`/`llm-gpu`
|
||||||
(пресеты 3–5) — по умолчанию (профили `media,monitoring`, без AI) правило
|
(пресеты 3–5) — по умолчанию (профили `media,monitoring`, без AI) правило
|
||||||
|
|||||||
Reference in New Issue
Block a user