Compare commits
9 Commits
| Author | SHA1 | Date | |
|---|---|---|---|
| ba01548088 | |||
| 3a290c7fc2 | |||
| 0e56960714 | |||
| c906c97cb8 | |||
| 296ce60c78 | |||
| 451c18e42b | |||
| f7c4fb4176 | |||
| e25b8c28de | |||
| 4f82ebe17a |
@@ -104,6 +104,12 @@ UVICORN_WORKERS=2
|
|||||||
DB_POOL_SIZE=10
|
DB_POOL_SIZE=10
|
||||||
DB_MAX_OVERFLOW=10
|
DB_MAX_OVERFLOW=10
|
||||||
DB_POOL_TIMEOUT=10
|
DB_POOL_TIMEOUT=10
|
||||||
|
# Пул соединений с Redis НА КАЖДЫЙ воркер. Считается по УЧАСТНИКАМ, а не по
|
||||||
|
# запросам: WS-подключение комнаты держит собственную pub/sub-подписку всё
|
||||||
|
# время, пока человек в конференции. Дефолт redis-py (100) упирался в потолок
|
||||||
|
# примерно на сотом одновременном участнике на воркер. Сверху ограничивает
|
||||||
|
# maxclients самого Redis (по умолчанию 10000) — на все процессы разом.
|
||||||
|
REDIS_MAX_CONNECTIONS=500
|
||||||
|
|
||||||
# --- Email (рассылка саммари + .ics-приглашения) ---
|
# --- Email (рассылка саммари + .ics-приглашения) ---
|
||||||
# `console` — дефолт для dev (письмо только логируется, ссылка подтверждения
|
# `console` — дефолт для dev (письмо только логируется, ссылка подтверждения
|
||||||
@@ -122,7 +128,7 @@ SMTP_TIMEOUT_S=30
|
|||||||
# --- Версия инстанса (релиз v0.0.1) ---
|
# --- Версия инстанса (релиз v0.0.1) ---
|
||||||
# install.sh копирует значение из корневого файла VERSION при каждой
|
# install.sh копирует значение из корневого файла VERSION при каждой
|
||||||
# установке/обновлении — руками менять не нужно.
|
# установке/обновлении — руками менять не нужно.
|
||||||
VIDCONF_VERSION=0.0.29
|
VIDCONF_VERSION=0.0.32
|
||||||
|
|
||||||
# --- Профили compose. Дефолт ниже (`media,monitoring`) — только для ручного
|
# --- Профили compose. Дефолт ниже (`media,monitoring`) — только для ручного
|
||||||
# `docker compose up` БЕЗ install.sh: медиа (LiveKit+coturn) + мониторинг,
|
# `docker compose up` БЕЗ install.sh: медиа (LiveKit+coturn) + мониторинг,
|
||||||
|
|||||||
116
CHANGELOG.md
116
CHANGELOG.md
@@ -3,6 +3,122 @@
|
|||||||
Формат основан на [Keep a Changelog](https://keepachangelog.com/ru/1.1.0/),
|
Формат основан на [Keep a Changelog](https://keepachangelog.com/ru/1.1.0/),
|
||||||
проект придерживается [семантического версионирования](https://semver.org/lang/ru/).
|
проект придерживается [семантического версионирования](https://semver.org/lang/ru/).
|
||||||
|
|
||||||
|
## [0.0.32] — 2026-08-09
|
||||||
|
|
||||||
|
Метрики состояния БД и пулов соединений + алерты в Prometheus — по решению
|
||||||
|
оператора на отказ БД реагируем сигналом, а не автолечением (перезапуск
|
||||||
|
контейнера при недоступной БД оборвал бы WS у всех, кто в конференциях).
|
||||||
|
См. разбор инцидента 07.08.2026 (0.0.31): `/api/health` во время отказа
|
||||||
|
отдавал 200 с `db: false`, а Prometheus скрейпит `/metrics`, где метрик
|
||||||
|
состояния БД не было вообще — строить алерт было не на чем.
|
||||||
|
|
||||||
|
### Добавлено
|
||||||
|
- **`vidconf_db_up`** — доступность БД (1/0), проверяется отдельным от
|
||||||
|
основного пула соединением с коротким таймаутом. Позволяет отличить
|
||||||
|
«БД лежит» от «основной пул занят под нагрузкой» — это два разных
|
||||||
|
состояния, и до этого релиза их нечем было различить.
|
||||||
|
- **`vidconf_db_pool_size`/`_max_overflow`/`_checked_out`** — конфигурация
|
||||||
|
и занятость основного пула SQLAlchemy. Читаются синхронно из объекта
|
||||||
|
пула (`engine.pool`), без единого запроса к БД — это единственный
|
||||||
|
способ получить сигнал именно в момент, когда пул исчерпан.
|
||||||
|
- **`vidconf_redis_pool_in_use`/`_max_connections`** — занятость пула
|
||||||
|
Redis (второй потолок того же рода, закрыт в 0.0.31).
|
||||||
|
- Алерты `deploy/monitoring/alerts.yml` (группа `vidconf-db`):
|
||||||
|
`DatabaseUnavailable` (`vidconf_db_up == 0`, `for: 30s`, critical) и
|
||||||
|
`DbConnectionPoolNearExhaustion`/`RedisConnectionPoolNearExhaustion`
|
||||||
|
(занято > 80% дольше минуты, warning) — ранний сигнал: в инциденте
|
||||||
|
07.08 пул заполнялся постепенно по мере входа участников в комнату,
|
||||||
|
а не рывком от HTTP-нагрузки.
|
||||||
|
- Дашборд Grafana **«БД и пулы соединений»**
|
||||||
|
(`deploy/monitoring/grafana/dashboards/db-pool.json`).
|
||||||
|
|
||||||
|
### Технические детали
|
||||||
|
- `GET /metrics` больше не падает и не виснет при недоступности основного
|
||||||
|
пула БД: gauge'и о состоянии пула читаются первыми и не зависят от него
|
||||||
|
(отдельное NullPool-соединение для `db_up`, синхронный снимок для
|
||||||
|
занятости пула), а зависящий от основного пула `vidconf_pipeline_sessions`
|
||||||
|
обёрнут таймаутом (2с) — при недоступности оставляет прежнее значение,
|
||||||
|
не роняя остальные метрики. Полностью развести его с основным пулом не
|
||||||
|
стали: тестовый харнесс подменяет `get_session` на savepoint-сессию
|
||||||
|
(`tests/conftest.py`), отдельное соединение не увидело бы несознанные
|
||||||
|
тестом данные — тот же компромисс, что и в 0.0.31 для `api/chat.py`.
|
||||||
|
- Проверено вживую на локальном стенде (не только по синтаксису конфига):
|
||||||
|
остановка Postgres → `vidconf_db_up` = 0, `/metrics` продолжает отвечать,
|
||||||
|
алерт `DatabaseUnavailable` переходит в `firing`; временно урезанный
|
||||||
|
пул под нагрузкой → `DbConnectionPoolNearExhaustion` переходит в
|
||||||
|
`firing` ровно через заявленный `for: 1m`; снятие нагрузки/восстановление
|
||||||
|
БД — алерты гаснут.
|
||||||
|
|
||||||
|
## [0.0.31] — 2026-08-09
|
||||||
|
|
||||||
|
Разбор провала входа на нагрузочном тесте 07.08.2026: комната держала
|
||||||
|
соединения с БД и Redis на каждого участника.
|
||||||
|
|
||||||
|
### Исправлено
|
||||||
|
- **Вход в систему переставал работать, когда в конференции набиралось
|
||||||
|
около сорока человек.** WS-подключение комнаты (чат и очередь рук)
|
||||||
|
держало занятым одно соединение с БД всё время, пока участник сидел
|
||||||
|
в конференции: SELECT'ы хендшейка открывали транзакцию, а закрыть её
|
||||||
|
было некому. Пул — 20 соединений на воркер (40 на инстанс), поэтому
|
||||||
|
сороковой вошедший выгребал его досуха, и все остальные запросы —
|
||||||
|
резолв конференции, гостевой вход, логин, обновление токена — начинали
|
||||||
|
отвечать 500. Теперь соединение возвращается в пул сразу после
|
||||||
|
хендшейка; на локальном стенде 120 участников на одном воркере не
|
||||||
|
занимают ни одного соединения в простое (было: 20 из 20 при 20
|
||||||
|
участниках, дальше вход не работал вовсе).
|
||||||
|
- **Пользователя выкидывало из системы, когда серверу было плохо.**
|
||||||
|
Фоновое обновление access-токена считало неудачей любой отрицательный
|
||||||
|
ответ и на каждую такую неудачу сбрасывало сессию с переходом на
|
||||||
|
страницу входа. Ответ 5xx (и обрыв сети) теперь означает «сервер
|
||||||
|
временно недоступен»: сессия сохраняется, пользователь остаётся
|
||||||
|
в системе и получает обычную ошибку запроса. Разлогинивание осталось
|
||||||
|
только там, где backend прямо сказал, что сессия недействительна.
|
||||||
|
Восстановление сессии при старте приложения повторяет попытку трижды,
|
||||||
|
прежде чем показать страницу входа.
|
||||||
|
|
||||||
|
### Технические детали
|
||||||
|
- Размер пула соединений с Redis задан явно (`REDIS_MAX_CONNECTIONS`,
|
||||||
|
по умолчанию 500): на нём висят долгоживущие pub/sub-подписки комнаты —
|
||||||
|
по одной на участника, — а дефолт redis-py 8 (100) упирался в потолок
|
||||||
|
примерно на сотом участнике на воркер. Второй потолок того же рода,
|
||||||
|
что и пул БД; найден при проверке правки выше на 120 участниках.
|
||||||
|
- Размеры пулов БД (`DB_POOL_SIZE`/`DB_MAX_OVERFLOW`) не менялись
|
||||||
|
осознанно: соединение больше не удерживается впустую, поэтому
|
||||||
|
расширение пула лечило бы симптом и лишь отодвинуло порог.
|
||||||
|
|
||||||
|
## [0.0.30] — 2026-08-04
|
||||||
|
|
||||||
|
Согласие на обработку персональных данных при регистрации + отключаемый модуль.
|
||||||
|
|
||||||
|
### Добавлено
|
||||||
|
- На форме регистрации — галочка согласия на обработку персональных данных
|
||||||
|
со ссылкой на публичную страницу регламента (`/legal/personal-data-consent`).
|
||||||
|
Кнопка регистрации неактивна, пока галочка не отмечена; сервер тоже
|
||||||
|
отказывает без согласия (`POST /auth/register` → 400 `consent_required`,
|
||||||
|
второй эшелон проверки — тот же принцип, что у `hand_queue_disabled`).
|
||||||
|
- Текст регламента — настройка инстанса, редактируемая в админке
|
||||||
|
(вкладка «Настройки» → карточка «Согласие на обработку персональных
|
||||||
|
данных»): текстовое поле + тумблер «требовать согласие при регистрации».
|
||||||
|
Дефолтный текст — типовой шаблон с плейсхолдерами под организацию
|
||||||
|
(наименование оператора, адрес, контакты, цели и срок обработки),
|
||||||
|
**не проходил юридическую проверку** — в карточке администратора
|
||||||
|
об этом явное предупреждение.
|
||||||
|
- Номер редакции текста растёт автоматически при каждой правке —
|
||||||
|
у каждого пользователя, давшего согласие, в БД фиксируется и версия
|
||||||
|
документа, и дата согласия (`users.consent_version`, `consent_given_at`).
|
||||||
|
- Модуль отключаем (`instance_settings.consent_policy`), по умолчанию
|
||||||
|
выключен — поведение существующих инсталляций не меняется. У уже
|
||||||
|
зарегистрированных пользователей согласие не запрашивалось и не
|
||||||
|
запрашивается задним числом, вход не блокируется.
|
||||||
|
|
||||||
|
### Технические детали
|
||||||
|
- Миграция Alembic добавляет `users.consent_version`/`consent_given_at`
|
||||||
|
(nullable — `NULL` означает «согласие не запрашивалось»).
|
||||||
|
- Публичный `GET /auth/registration-options` (уже существующий, без нового
|
||||||
|
эндпоинта) дополнен полями `consent_required`/`consent_text`/`consent_version` —
|
||||||
|
тем же ответом пользуется и страница регламента, доступная всегда,
|
||||||
|
независимо от того, включён ли модуль.
|
||||||
|
|
||||||
## [0.0.29] — 2026-08-04
|
## [0.0.29] — 2026-08-04
|
||||||
|
|
||||||
Кнопка «демонстрация экрана» в мини-окне конференции.
|
Кнопка «демонстрация экрана» в мини-окне конференции.
|
||||||
|
|||||||
@@ -0,0 +1,41 @@
|
|||||||
|
"""user consent to personal data processing
|
||||||
|
|
||||||
|
Согласие на обработку персональных данных при регистрации (сессия 30):
|
||||||
|
- `users.consent_version` — редакция регламента (`instance_settings.consent_policy.version`),
|
||||||
|
с которой согласился пользователь;
|
||||||
|
- `users.consent_given_at` — момент согласия.
|
||||||
|
|
||||||
|
Оба поля nullable: у существующих пользователей и у зарегистрированных при
|
||||||
|
выключенном модуле согласие не запрашивалось — `NULL` трактуется как
|
||||||
|
«согласие не запрашивалось», вход таким пользователям не блокируется.
|
||||||
|
|
||||||
|
Revision ID: 4d08a44ad153
|
||||||
|
Revises: d87681e12784
|
||||||
|
Create Date: 2026-08-04 21:41:33.813206
|
||||||
|
|
||||||
|
"""
|
||||||
|
from typing import Sequence, Union
|
||||||
|
|
||||||
|
from alembic import op
|
||||||
|
import sqlalchemy as sa
|
||||||
|
|
||||||
|
|
||||||
|
# revision identifiers, used by Alembic.
|
||||||
|
revision: str = '4d08a44ad153'
|
||||||
|
down_revision: Union[str, Sequence[str], None] = 'd87681e12784'
|
||||||
|
branch_labels: Union[str, Sequence[str], None] = None
|
||||||
|
depends_on: Union[str, Sequence[str], None] = None
|
||||||
|
|
||||||
|
|
||||||
|
def upgrade() -> None:
|
||||||
|
"""Upgrade schema."""
|
||||||
|
op.add_column('users', sa.Column('consent_version', sa.Integer(), nullable=True))
|
||||||
|
op.add_column(
|
||||||
|
'users', sa.Column('consent_given_at', sa.DateTime(timezone=True), nullable=True)
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def downgrade() -> None:
|
||||||
|
"""Downgrade schema."""
|
||||||
|
op.drop_column('users', 'consent_given_at')
|
||||||
|
op.drop_column('users', 'consent_version')
|
||||||
@@ -62,6 +62,7 @@ from services.email import EmailSendError, create_email_backend
|
|||||||
from services.instance_settings import (
|
from services.instance_settings import (
|
||||||
InstanceSettingsService,
|
InstanceSettingsService,
|
||||||
InvalidAiLevelError,
|
InvalidAiLevelError,
|
||||||
|
InvalidConsentPolicyError,
|
||||||
InvalidContactEmailError,
|
InvalidContactEmailError,
|
||||||
InvalidEmailDomainError,
|
InvalidEmailDomainError,
|
||||||
InvalidTimezoneError,
|
InvalidTimezoneError,
|
||||||
@@ -404,6 +405,7 @@ async def update_settings(
|
|||||||
InvalidTimezoneError,
|
InvalidTimezoneError,
|
||||||
InvalidEmailDomainError,
|
InvalidEmailDomainError,
|
||||||
InvalidContactEmailError,
|
InvalidContactEmailError,
|
||||||
|
InvalidConsentPolicyError,
|
||||||
) as exc:
|
) as exc:
|
||||||
raise HTTPException(status_code=status.HTTP_400_BAD_REQUEST, detail=str(exc)) from exc
|
raise HTTPException(status_code=status.HTTP_400_BAD_REQUEST, detail=str(exc)) from exc
|
||||||
queue_served = await anyio.to_thread.run_sync(transcription_queue_served)
|
queue_served = await anyio.to_thread.run_sync(transcription_queue_served)
|
||||||
@@ -470,6 +472,9 @@ def _to_settings_out(cfg: InstanceConfig, *, transcription_queue_served: bool) -
|
|||||||
contact_email=cfg.contact_email,
|
contact_email=cfg.contact_email,
|
||||||
publish_quality_cap=cfg.media_limits.publish_quality_cap,
|
publish_quality_cap=cfg.media_limits.publish_quality_cap,
|
||||||
stage_max_tiles=cfg.media_limits.stage_max_tiles,
|
stage_max_tiles=cfg.media_limits.stage_max_tiles,
|
||||||
|
consent_required=cfg.consent_required,
|
||||||
|
consent_policy_text=cfg.consent_policy_text,
|
||||||
|
consent_policy_version=cfg.consent_policy_version,
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
|
|||||||
@@ -21,6 +21,7 @@ from schemas.auth import (
|
|||||||
)
|
)
|
||||||
from services.auth import (
|
from services.auth import (
|
||||||
AuthService,
|
AuthService,
|
||||||
|
ConsentRequiredError,
|
||||||
EmailAlreadyRegisteredError,
|
EmailAlreadyRegisteredError,
|
||||||
EmailNotVerifiedError,
|
EmailNotVerifiedError,
|
||||||
InvalidCredentialsError,
|
InvalidCredentialsError,
|
||||||
@@ -63,7 +64,12 @@ async def registration_options(
|
|||||||
teams = [RegistrationTeamOptionOut(id=team.id, name=team.name) for team in items]
|
teams = [RegistrationTeamOptionOut(id=team.id, name=team.name) for team in items]
|
||||||
email_domains = cfg.registration_email_domains if cfg.registration_email_domain_enabled else []
|
email_domains = cfg.registration_email_domains if cfg.registration_email_domain_enabled else []
|
||||||
return RegistrationOptionsOut(
|
return RegistrationOptionsOut(
|
||||||
team_choice_enabled=cfg.registration_team_choice, teams=teams, email_domains=email_domains
|
team_choice_enabled=cfg.registration_team_choice,
|
||||||
|
teams=teams,
|
||||||
|
email_domains=email_domains,
|
||||||
|
consent_required=cfg.consent_required,
|
||||||
|
consent_text=cfg.consent_policy_text,
|
||||||
|
consent_version=cfg.consent_policy_version,
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
@@ -78,6 +84,7 @@ async def register(
|
|||||||
name_user=data.name_user,
|
name_user=data.name_user,
|
||||||
password=data.password,
|
password=data.password,
|
||||||
team_id=data.team_id,
|
team_id=data.team_id,
|
||||||
|
consent_accepted=data.consent_accepted,
|
||||||
)
|
)
|
||||||
except EmailAlreadyRegisteredError as exc:
|
except EmailAlreadyRegisteredError as exc:
|
||||||
raise HTTPException(
|
raise HTTPException(
|
||||||
@@ -91,6 +98,10 @@ async def register(
|
|||||||
raise HTTPException(
|
raise HTTPException(
|
||||||
status_code=status.HTTP_400_BAD_REQUEST, detail="invalid_email_domain"
|
status_code=status.HTTP_400_BAD_REQUEST, detail="invalid_email_domain"
|
||||||
) from exc
|
) from exc
|
||||||
|
except ConsentRequiredError as exc:
|
||||||
|
raise HTTPException(
|
||||||
|
status_code=status.HTTP_400_BAD_REQUEST, detail="consent_required"
|
||||||
|
) from exc
|
||||||
|
|
||||||
|
|
||||||
@router.post("/verify-email", status_code=status.HTTP_204_NO_CONTENT)
|
@router.post("/verify-email", status_code=status.HTTP_204_NO_CONTENT)
|
||||||
|
|||||||
@@ -87,6 +87,26 @@ async def chat_websocket(
|
|||||||
await pubsub.subscribe(channel, room_channel)
|
await pubsub.subscribe(channel, room_channel)
|
||||||
try:
|
try:
|
||||||
history = await service.history(conference)
|
history = await service.history(conference)
|
||||||
|
# 🔑 Вернуть соединение с БД в пул ДО входа в долгоживущие насосы.
|
||||||
|
#
|
||||||
|
# Хендшейк выше сделал несколько SELECT'ов (тоггл чата, конференция,
|
||||||
|
# тоггл рук, история) — SQLAlchemy открыла транзакцию на первом же из
|
||||||
|
# них и держала бы её, а с ней и соединение из пула, ВСЁ время жизни
|
||||||
|
# WS: участник сидит в комнате час — час занято соединение. Пул это
|
||||||
|
# `db_pool_size + db_max_overflow` на воркер (10 + 10), то есть
|
||||||
|
# 40 на инстанс из двух воркеров, и сороковой вошедший выгребал его
|
||||||
|
# досуха: `pg_stat_activity` показывал 40 соединений
|
||||||
|
# `idle in transaction` при одном `active`, а посторонние ручки
|
||||||
|
# (резолв, гостевой вход, логин, refresh) начинали падать в
|
||||||
|
# `QueuePool limit ... timed out` и отдавать 500. Ровно это положило
|
||||||
|
# вход на нагрузочном тесте 07.08.2026 при ~50 участниках.
|
||||||
|
#
|
||||||
|
# Соединение здесь больше не нужно: оба насоса ниже работают через
|
||||||
|
# Redis, а единственная запись в БД (`persist_and_publish`) сама
|
||||||
|
# открывает транзакцию и коммитит её, освобождая соединение сразу.
|
||||||
|
# ⚠️ Любое чтение из БД, добавленное между этой строкой и концом
|
||||||
|
# обработчика, обязано так же завершаться commit/rollback.
|
||||||
|
await session.commit()
|
||||||
await websocket.send_json(ChatHistoryOut(messages=history).model_dump(mode="json"))
|
await websocket.send_json(ChatHistoryOut(messages=history).model_dump(mode="json"))
|
||||||
seen_ids = {item.id for item in history}
|
seen_ids = {item.id for item in history}
|
||||||
|
|
||||||
|
|||||||
@@ -1,4 +1,4 @@
|
|||||||
"""Метрики Prometheus: латентность HTTP + gauge'и пайплайна, очередей и железа.
|
"""Метрики Prometheus: латентность HTTP + gauge'и пайплайна, очередей, БД и железа.
|
||||||
|
|
||||||
`GET /metrics` — без авторизации (снаружи закрывается на уровне nginx, вне
|
`GET /metrics` — без авторизации (снаружи закрывается на уровне nginx, вне
|
||||||
периметра backend, см. `docs/deploy/scaling.md`/monitoring-часть devops):
|
периметра backend, см. `docs/deploy/scaling.md`/monitoring-часть devops):
|
||||||
@@ -12,8 +12,22 @@ Gauge'и `vidconf_pipeline_sessions`/`vidconf_celery_queue_depth`/
|
|||||||
Redis) можно опросить обычным `await` вместо реализации синхронного
|
Redis) можно опросить обычным `await` вместо реализации синхронного
|
||||||
`prometheus_client.registry.Collector` (у `vidconf_host_info` источник
|
`prometheus_client.registry.Collector` (у `vidconf_host_info` источник
|
||||||
и вовсе синхронный — настройки уже в памяти процесса).
|
и вовсе синхронный — настройки уже в памяти процесса).
|
||||||
|
|
||||||
|
🔴 Метрики о состоянии основного пула БД (`vidconf_db_up`,
|
||||||
|
`vidconf_db_pool_*`) обязаны читаться БЕЗ обращения к самому пулу — иначе
|
||||||
|
в момент его исчерпания (см. `.forcc/session-results/32-loadtest-07-08-debug.md`)
|
||||||
|
эндпоинт метрик падал бы вместе со всем остальным ровно тогда, когда нужнее
|
||||||
|
всего. `vidconf_db_pool_*` — синхронный снимок `engine.pool` (см.
|
||||||
|
`core/db.py::db_pool_stats`), `vidconf_db_up` — отдельное соединение вне
|
||||||
|
основного пула (`core/db.py::check_db_up`). `_refresh_pipeline_sessions_gauge`
|
||||||
|
по-прежнему ходит через основной пул (`Depends(get_session)`, тестовый
|
||||||
|
харнесс подменяет её на savepoint-сессию — см. `tests/conftest.py`; развести
|
||||||
|
полностью, как `vidconf_db_up`, значило бы переделывать харнесс ради того же
|
||||||
|
эффекта — цена не оправдана, см. прецедент `f7c4fb4`/session 32), но обёрнута
|
||||||
|
таймаутом и try/except, чтобы её недоступность не роняла остальные метрики.
|
||||||
"""
|
"""
|
||||||
|
|
||||||
|
import asyncio
|
||||||
import time
|
import time
|
||||||
from collections.abc import Awaitable, Callable
|
from collections.abc import Awaitable, Callable
|
||||||
|
|
||||||
@@ -23,7 +37,7 @@ from sqlalchemy.ext.asyncio import AsyncSession
|
|||||||
from starlette.routing import Match
|
from starlette.routing import Match
|
||||||
|
|
||||||
from core.config import get_settings
|
from core.config import get_settings
|
||||||
from core.db import get_session
|
from core.db import check_db_up, db_pool_checked_out, get_session
|
||||||
from core.redis import redis_client
|
from core.redis import redis_client
|
||||||
from models.session import PIPELINE_STATUSES
|
from models.session import PIPELINE_STATUSES
|
||||||
from repositories.conferences import ConferenceSessionRepository
|
from repositories.conferences import ConferenceSessionRepository
|
||||||
@@ -80,9 +94,30 @@ PIPELINE_SESSIONS = Gauge(
|
|||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
|
# Сколько ждать основной пул под этой конкретной метрикой, прежде чем
|
||||||
|
# сдаться и оставить прежнее значение gauge. Меньше `db_pool_timeout` (10с,
|
||||||
|
# `core/config.py`) — Prometheus скрейпит раз в 15с, и эта метрика не должна
|
||||||
|
# в одиночку съедать бюджет всего окна scrape.
|
||||||
|
_PIPELINE_GAUGE_TIMEOUT_S = 2.0
|
||||||
|
|
||||||
|
|
||||||
async def _refresh_pipeline_sessions_gauge(session: AsyncSession) -> None:
|
async def _refresh_pipeline_sessions_gauge(session: AsyncSession) -> None:
|
||||||
"""Пересчитать `vidconf_pipeline_sessions` по всем статусам `pipeline_status`."""
|
"""Пересчитать `vidconf_pipeline_sessions` по всем статусам `pipeline_status`.
|
||||||
counts = await ConferenceSessionRepository(session).count_by_pipeline_status()
|
|
||||||
|
Ходит через основной пул (`session` — из `Depends(get_session)`, см.
|
||||||
|
докстринг модуля про ограничения тестового харнесса). Если пул занят
|
||||||
|
или БД недоступна, запрос не должен держать весь `/metrics` — таймаут
|
||||||
|
короче `db_pool_timeout`, ошибка гасится, gauge остаётся на прежнем
|
||||||
|
значении (не обнуляется — обнулять его при недоступности БД так же
|
||||||
|
неверно, как считать сеансы пропавшими).
|
||||||
|
"""
|
||||||
|
try:
|
||||||
|
counts = await asyncio.wait_for(
|
||||||
|
ConferenceSessionRepository(session).count_by_pipeline_status(),
|
||||||
|
timeout=_PIPELINE_GAUGE_TIMEOUT_S,
|
||||||
|
)
|
||||||
|
except Exception: # noqa: BLE001
|
||||||
|
return
|
||||||
for status in PIPELINE_STATUSES:
|
for status in PIPELINE_STATUSES:
|
||||||
PIPELINE_SESSIONS.labels(status=status).set(counts.get(status, 0))
|
PIPELINE_SESSIONS.labels(status=status).set(counts.get(status, 0))
|
||||||
|
|
||||||
@@ -113,6 +148,70 @@ async def _refresh_celery_queue_depth_gauge() -> None:
|
|||||||
CELERY_QUEUE_DEPTH.labels(queue=queue).set(depth)
|
CELERY_QUEUE_DEPTH.labels(queue=queue).set(depth)
|
||||||
|
|
||||||
|
|
||||||
|
# --- Доступность БД и занятость основного пула (сессия 33) -----------------
|
||||||
|
#
|
||||||
|
# Ранний сигнал важнее самого факта отказа: в инциденте 07.08 пул заполнялся
|
||||||
|
# постепенно (`idle in transaction` 3→8→16→26→35→39→40 участников) —
|
||||||
|
# `vidconf_db_pool_checked_out` показал бы это задолго до первого 500.
|
||||||
|
# Обе метрики читаются без обращения к основному пулу (см. докстринг модуля
|
||||||
|
# и `core/db.py`), поэтому доступны и в момент, когда сам пул исчерпан.
|
||||||
|
|
||||||
|
DB_UP = Gauge(
|
||||||
|
"vidconf_db_up",
|
||||||
|
"Доступность БД (1/0) — проверяется отдельным соединением вне основного пула",
|
||||||
|
)
|
||||||
|
|
||||||
|
DB_POOL_SIZE = Gauge(
|
||||||
|
"vidconf_db_pool_size",
|
||||||
|
"Настроенный размер основного пула БД без overflow (db_pool_size)",
|
||||||
|
)
|
||||||
|
DB_POOL_MAX_OVERFLOW = Gauge(
|
||||||
|
"vidconf_db_pool_max_overflow",
|
||||||
|
"Настроенный максимум overflow-соединений сверх db_pool_size (db_max_overflow)",
|
||||||
|
)
|
||||||
|
DB_POOL_CHECKED_OUT = Gauge(
|
||||||
|
"vidconf_db_pool_checked_out",
|
||||||
|
"Число соединений основного пула БД, занятых прямо сейчас (в пуле + overflow)",
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
async def _refresh_db_up_gauge() -> None:
|
||||||
|
"""Пересчитать `vidconf_db_up` отдельным от основного пула соединением."""
|
||||||
|
DB_UP.set(1 if await check_db_up() else 0)
|
||||||
|
|
||||||
|
|
||||||
|
def _refresh_db_pool_gauges() -> None:
|
||||||
|
"""Пересчитать gauge'и занятости основного пула — синхронно, без I/O."""
|
||||||
|
settings = get_settings()
|
||||||
|
DB_POOL_SIZE.set(settings.db_pool_size)
|
||||||
|
DB_POOL_MAX_OVERFLOW.set(settings.db_max_overflow)
|
||||||
|
DB_POOL_CHECKED_OUT.set(db_pool_checked_out())
|
||||||
|
|
||||||
|
|
||||||
|
# --- Занятость пула Redis (сессия 33, второй потолок из session 32) --------
|
||||||
|
#
|
||||||
|
# Тот же класс отказа, что и у пула БД: каждое WS-подключение комнаты держит
|
||||||
|
# pub/sub-соединение всё время, пока участник в конференции (`core/redis.py`,
|
||||||
|
# `redis_max_connections`). Снимок — синхронный (атрибуты пула в памяти
|
||||||
|
# процесса redis-py), Redis для этого спрашивать не нужно.
|
||||||
|
|
||||||
|
REDIS_POOL_IN_USE = Gauge(
|
||||||
|
"vidconf_redis_pool_in_use",
|
||||||
|
"Число занятых соединений пула Redis прямо сейчас",
|
||||||
|
)
|
||||||
|
REDIS_POOL_MAX = Gauge(
|
||||||
|
"vidconf_redis_pool_max_connections",
|
||||||
|
"Настроенный максимум соединений пула Redis (redis_max_connections)",
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def _refresh_redis_pool_gauges() -> None:
|
||||||
|
"""Пересчитать gauge'и занятости пула Redis — синхронно, без I/O."""
|
||||||
|
pool = redis_client.connection_pool
|
||||||
|
REDIS_POOL_IN_USE.set(len(pool._in_use_connections)) # noqa: SLF001
|
||||||
|
REDIS_POOL_MAX.set(pool.max_connections)
|
||||||
|
|
||||||
|
|
||||||
# --- Info-метрика обнаруженного железа (install.sh, ADR-004) ---------------
|
# --- Info-метрика обнаруженного железа (install.sh, ADR-004) ---------------
|
||||||
|
|
||||||
HOST_INFO = Gauge(
|
HOST_INFO = Gauge(
|
||||||
@@ -158,7 +257,16 @@ async def metrics_endpoint(session: AsyncSession = Depends(get_session)) -> Resp
|
|||||||
ценой одного SELECT (группировка по `pipeline_status`) и `LLEN` на
|
ценой одного SELECT (группировка по `pipeline_status`) и `LLEN` на
|
||||||
каждую из 4 отслеживаемых очередей per запрос — Prometheus скрейпит
|
каждую из 4 отслеживаемых очередей per запрос — Prometheus скрейпит
|
||||||
редко (обычно раз в 15–30с), нагрузка пренебрежимо мала.
|
редко (обычно раз в 15–30с), нагрузка пренебрежимо мала.
|
||||||
|
|
||||||
|
Порядок важен: метрики о состоянии основного пула БД (`_refresh_db_up_gauge`,
|
||||||
|
`_refresh_db_pool_gauges`) считаются первыми и не зависят от самого пула
|
||||||
|
(см. докстринг модуля) — они гарантированно попадут в ответ, даже если
|
||||||
|
следующий за ними `_refresh_pipeline_sessions_gauge` (основной пул) зависнет
|
||||||
|
или упадёт под нагрузкой.
|
||||||
"""
|
"""
|
||||||
|
await _refresh_db_up_gauge()
|
||||||
|
_refresh_db_pool_gauges()
|
||||||
|
_refresh_redis_pool_gauges()
|
||||||
await _refresh_pipeline_sessions_gauge(session)
|
await _refresh_pipeline_sessions_gauge(session)
|
||||||
await _refresh_celery_queue_depth_gauge()
|
await _refresh_celery_queue_depth_gauge()
|
||||||
_refresh_host_info_gauge()
|
_refresh_host_info_gauge()
|
||||||
|
|||||||
@@ -38,6 +38,27 @@ class Settings(BaseSettings):
|
|||||||
# и показывает проблему, а не висит полминуты, делая вид, что всё живо.
|
# и показывает проблему, а не висит полминуты, делая вид, что всё живо.
|
||||||
db_pool_timeout: int = 10
|
db_pool_timeout: int = 10
|
||||||
|
|
||||||
|
# --- Проверка доступности БД вне основного пула (`core/db.py::check_db_up`) ---
|
||||||
|
# Таймаут TCP/auth отдельного соединения-пробы (не путать с
|
||||||
|
# `db_pool_timeout` выше — тот про очередь на основной пул). Дефолт
|
||||||
|
# asyncpg — 60с, для сигнала мониторинга это неприемлемо долго: пусть
|
||||||
|
# `vidconf_db_up` станет 0 за секунды, а не через минуту.
|
||||||
|
db_probe_timeout_s: float = 3.0
|
||||||
|
|
||||||
|
# --- Пул соединений с Redis ---
|
||||||
|
# Считается по УЧАСТНИКАМ, а не по запросам: каждое WS-подключение комнаты
|
||||||
|
# (`api/chat.py`) держит собственное pub/sub-соединение всё время, пока
|
||||||
|
# человек сидит в конференции, — и берёт его из этого же пула, что и
|
||||||
|
# обычные команды. redis-py 8 поставил дефолт `max_connections=100`
|
||||||
|
# (раньше предел был условно бесконечным), поэтому сотый участник на
|
||||||
|
# воркер выгребал пул досуха и WS падал уже на `hgetall` очереди рук —
|
||||||
|
# воспроизведено локально при 99 одновременных подключениях.
|
||||||
|
# 500 — с запасом на инстанс, рассчитанный на пару сотен участников
|
||||||
|
# на воркер; соединения создаются по мере надобности, само по себе
|
||||||
|
# значение ничего не стоит. Потолок сверху — `maxclients` у Redis
|
||||||
|
# (дефолт 10000) на ВСЕ процессы вместе, включая Celery-воркеры.
|
||||||
|
redis_max_connections: int = 500
|
||||||
|
|
||||||
# --- Версия инстанса (релиз v0.0.1) ---
|
# --- Версия инстанса (релиз v0.0.1) ---
|
||||||
# install.sh копирует значение из файла `VERSION` (корень репозитория) в
|
# install.sh копирует значение из файла `VERSION` (корень репозитория) в
|
||||||
# `.env` при каждой установке/обновлении — здесь только чтение готового
|
# `.env` при каждой установке/обновлении — здесь только чтение готового
|
||||||
|
|||||||
@@ -1,13 +1,16 @@
|
|||||||
"""Настройка асинхронного движка SQLAlchemy и сеанса."""
|
"""Настройка асинхронного движка SQLAlchemy и сеанса."""
|
||||||
|
|
||||||
from collections.abc import AsyncGenerator
|
from collections.abc import AsyncGenerator
|
||||||
|
from typing import cast
|
||||||
|
|
||||||
|
from sqlalchemy import text
|
||||||
from sqlalchemy.ext.asyncio import (
|
from sqlalchemy.ext.asyncio import (
|
||||||
AsyncEngine,
|
AsyncEngine,
|
||||||
AsyncSession,
|
AsyncSession,
|
||||||
async_sessionmaker,
|
async_sessionmaker,
|
||||||
create_async_engine,
|
create_async_engine,
|
||||||
)
|
)
|
||||||
|
from sqlalchemy.pool import NullPool, QueuePool
|
||||||
|
|
||||||
from core.config import get_settings
|
from core.config import get_settings
|
||||||
|
|
||||||
@@ -31,3 +34,45 @@ async def get_session() -> AsyncGenerator[AsyncSession, None]:
|
|||||||
"""Зависимость FastAPI, возвращающая `AsyncSession`."""
|
"""Зависимость FastAPI, возвращающая `AsyncSession`."""
|
||||||
async with async_session_maker() as session:
|
async with async_session_maker() as session:
|
||||||
yield session
|
yield session
|
||||||
|
|
||||||
|
|
||||||
|
# --- Проверка доступности БД вне основного пула (сессия 33) ----------------
|
||||||
|
#
|
||||||
|
# Отдельный движок с `NullPool`: каждый вызов открывает новое соединение и
|
||||||
|
# закрывает его сразу после — бюджет соединений не пересекается с
|
||||||
|
# `engine.pool` (10 + 10 overflow × число воркеров uvicorn). Это единственный
|
||||||
|
# способ отличить «БД лежит» от «основной пул занят под нагрузкой»: проверка
|
||||||
|
# через `get_session()` в момент исчерпания пула сама встала бы в очередь на
|
||||||
|
# `db_pool_timeout` и не смогла бы ответить, пока не появится случайно
|
||||||
|
# освободившееся место — то есть не отличила бы два принципиально разных
|
||||||
|
# состояния. Короткий `timeout` на соединение (не путать с `db_pool_timeout`
|
||||||
|
# основного пула) — чтобы зависший, а не оборванный TCP (Postgres отвечает,
|
||||||
|
# но не может продвинуться) не держал проверку до дефолтных 60 секунд asyncpg.
|
||||||
|
_probe_engine: AsyncEngine = create_async_engine(
|
||||||
|
settings.database_url,
|
||||||
|
poolclass=NullPool,
|
||||||
|
connect_args={"timeout": settings.db_probe_timeout_s},
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
async def check_db_up() -> bool:
|
||||||
|
"""`True`, если БД отвечает на `SELECT 1` по отдельному от основного пула соединению."""
|
||||||
|
try:
|
||||||
|
async with _probe_engine.connect() as connection:
|
||||||
|
await connection.execute(text("SELECT 1"))
|
||||||
|
except Exception: # noqa: BLE001
|
||||||
|
return False
|
||||||
|
return True
|
||||||
|
|
||||||
|
|
||||||
|
def db_pool_checked_out() -> int:
|
||||||
|
"""Число соединений основного пула, занятых прямо сейчас — без обращения к БД.
|
||||||
|
|
||||||
|
SQLAlchemy держит счётчик в памяти самого объекта пула (`engine.pool`),
|
||||||
|
поэтому его можно прочитать в любой момент, даже когда все соединения
|
||||||
|
заняты или БД недоступна — именно это нужно алерту на исчерпание пула
|
||||||
|
(метрика не должна зависеть от того, что измеряет). Размер и лимит
|
||||||
|
overflow — конфигурация (`Settings.db_pool_size`/`db_max_overflow`),
|
||||||
|
их не нужно снимать с объекта пула отдельно.
|
||||||
|
"""
|
||||||
|
return cast(QueuePool, engine.pool).checkedout()
|
||||||
|
|||||||
@@ -123,3 +123,13 @@ class InstanceConfig(BaseModel):
|
|||||||
# не только в админке — настройка должна быть на руках у клиента до
|
# не только в админке — настройка должна быть на руках у клиента до
|
||||||
# публикации трека.
|
# публикации трека.
|
||||||
media_limits: MediaLimitsConfig = Field(default_factory=MediaLimitsConfig)
|
media_limits: MediaLimitsConfig = Field(default_factory=MediaLimitsConfig)
|
||||||
|
# Согласие на обработку персональных данных при регистрации: галочка
|
||||||
|
# обязательна только при `consent_required=True`, текст/версия — редактируемая
|
||||||
|
# администратором настройка (дефолт — типовой шаблон, не юридический документ) —
|
||||||
|
# см. `services/instance_settings.py`. `consent_policy_text`/`_version`
|
||||||
|
# отдаются публично (`GET /auth/registration-options`) независимо от
|
||||||
|
# `consent_required`, чтобы страница регламента была осмысленной и при
|
||||||
|
# выключенном модуле.
|
||||||
|
consent_required: bool = False
|
||||||
|
consent_policy_text: str = ""
|
||||||
|
consent_policy_version: int = 1
|
||||||
|
|||||||
@@ -6,4 +6,11 @@ from core.config import get_settings
|
|||||||
|
|
||||||
settings = get_settings()
|
settings = get_settings()
|
||||||
|
|
||||||
redis_client: Redis = Redis.from_url(settings.redis_url, decode_responses=True)
|
redis_client: Redis = Redis.from_url(
|
||||||
|
settings.redis_url,
|
||||||
|
decode_responses=True,
|
||||||
|
# Размер пула задаём явно: дефолт redis-py (100) рассчитан на команды, а у
|
||||||
|
# нас на нём же висят долгоживущие pub/sub-подписки комнаты — по одной на
|
||||||
|
# участника (см. `core/config.py`, `redis_max_connections`).
|
||||||
|
max_connections=settings.redis_max_connections,
|
||||||
|
)
|
||||||
|
|||||||
@@ -3,7 +3,17 @@
|
|||||||
import uuid
|
import uuid
|
||||||
from datetime import datetime
|
from datetime import datetime
|
||||||
|
|
||||||
from sqlalchemy import Boolean, CheckConstraint, DateTime, ForeignKey, String, Text, func, text
|
from sqlalchemy import (
|
||||||
|
Boolean,
|
||||||
|
CheckConstraint,
|
||||||
|
DateTime,
|
||||||
|
ForeignKey,
|
||||||
|
Integer,
|
||||||
|
String,
|
||||||
|
Text,
|
||||||
|
func,
|
||||||
|
text,
|
||||||
|
)
|
||||||
from sqlalchemy.dialects.postgresql import UUID
|
from sqlalchemy.dialects.postgresql import UUID
|
||||||
from sqlalchemy.orm import Mapped, mapped_column
|
from sqlalchemy.orm import Mapped, mapped_column
|
||||||
|
|
||||||
@@ -35,6 +45,13 @@ class User(Base):
|
|||||||
# Путь к загруженному аватару (относительно `MEDIA_ROOT`):
|
# Путь к загруженному аватару (относительно `MEDIA_ROOT`):
|
||||||
# `avatars/{user_id}.{ext}`; `NULL` — заглушка с инициалами на фронте.
|
# `avatars/{user_id}.{ext}`; `NULL` — заглушка с инициалами на фронте.
|
||||||
avatar_path: Mapped[str | None] = mapped_column(String(512), nullable=True)
|
avatar_path: Mapped[str | None] = mapped_column(String(512), nullable=True)
|
||||||
|
# Согласие на обработку персональных данных при регистрации: редакция
|
||||||
|
# регламента (`instance_settings.consent_policy.version` на момент
|
||||||
|
# согласия) и время. `NULL` у обоих — согласие не запрашивалось (модуль
|
||||||
|
# был выключен либо пользователь зарегистрирован до появления этой
|
||||||
|
# настройки); вход таким пользователям не блокируется.
|
||||||
|
consent_version: Mapped[int | None] = mapped_column(Integer, nullable=True)
|
||||||
|
consent_given_at: Mapped[datetime | None] = mapped_column(DateTime(timezone=True), nullable=True)
|
||||||
created_at: Mapped[datetime] = mapped_column(
|
created_at: Mapped[datetime] = mapped_column(
|
||||||
DateTime(timezone=True), nullable=False, server_default=func.now()
|
DateTime(timezone=True), nullable=False, server_default=func.now()
|
||||||
)
|
)
|
||||||
|
|||||||
@@ -1,6 +1,7 @@
|
|||||||
"""Репозиторий доступа к таблице `users`."""
|
"""Репозиторий доступа к таблице `users`."""
|
||||||
|
|
||||||
import uuid
|
import uuid
|
||||||
|
from datetime import datetime
|
||||||
|
|
||||||
from sqlalchemy import or_, select
|
from sqlalchemy import or_, select
|
||||||
from sqlalchemy.ext.asyncio import AsyncSession
|
from sqlalchemy.ext.asyncio import AsyncSession
|
||||||
@@ -30,9 +31,24 @@ class UserRepository:
|
|||||||
name_user: str,
|
name_user: str,
|
||||||
password_hash: str,
|
password_hash: str,
|
||||||
team_id: uuid.UUID | None = None,
|
team_id: uuid.UUID | None = None,
|
||||||
|
consent_version: int | None = None,
|
||||||
|
consent_given_at: datetime | None = None,
|
||||||
) -> User:
|
) -> User:
|
||||||
"""Создать нового пользователя (role='user', email_verified=False по умолчанию)."""
|
"""Создать нового пользователя (role='user', email_verified=False по умолчанию).
|
||||||
user = User(email=email, name_user=name_user, password_hash=password_hash, team_id=team_id)
|
|
||||||
|
`consent_version`/`consent_given_at` — редакция регламента обработки
|
||||||
|
персональных данных, с которой согласился пользователь, и время
|
||||||
|
согласия; `None` у обоих, если согласие не запрашивалось (модуль
|
||||||
|
выключен) — см. `services.auth.AuthService.register`.
|
||||||
|
"""
|
||||||
|
user = User(
|
||||||
|
email=email,
|
||||||
|
name_user=name_user,
|
||||||
|
password_hash=password_hash,
|
||||||
|
team_id=team_id,
|
||||||
|
consent_version=consent_version,
|
||||||
|
consent_given_at=consent_given_at,
|
||||||
|
)
|
||||||
self._session.add(user)
|
self._session.add(user)
|
||||||
await self._session.flush()
|
await self._session.flush()
|
||||||
return user
|
return user
|
||||||
|
|||||||
@@ -163,6 +163,11 @@ class SettingsOut(BaseModel):
|
|||||||
# качества публикации и максимум плиток сцены, см. `core/plugins/config.py`.
|
# качества публикации и максимум плиток сцены, см. `core/plugins/config.py`.
|
||||||
publish_quality_cap: PublishQualityCap
|
publish_quality_cap: PublishQualityCap
|
||||||
stage_max_tiles: StageMaxTiles
|
stage_max_tiles: StageMaxTiles
|
||||||
|
# Согласие на обработку персональных данных при регистрации — см.
|
||||||
|
# `core/plugins/config.py::InstanceConfig`.
|
||||||
|
consent_required: bool
|
||||||
|
consent_policy_text: str
|
||||||
|
consent_policy_version: int
|
||||||
|
|
||||||
|
|
||||||
class TestEmailIn(BaseModel):
|
class TestEmailIn(BaseModel):
|
||||||
|
|||||||
@@ -11,12 +11,18 @@ class RegisterIn(BaseModel):
|
|||||||
`team_id` допустим только при включённой настройке инстанса
|
`team_id` допустим только при включённой настройке инстанса
|
||||||
`registration_team_choice` (см. `GET /auth/registration-options`) и
|
`registration_team_choice` (см. `GET /auth/registration-options`) и
|
||||||
существующей команде — иначе `POST /auth/register` вернёт 400.
|
существующей команде — иначе `POST /auth/register` вернёт 400.
|
||||||
|
`consent_accepted` обязан быть `True`, если в настройках инстанса
|
||||||
|
включено `consent_required` (согласие на обработку персональных
|
||||||
|
данных) — иначе `POST /auth/register` вернёт 400. Игнорируется, если
|
||||||
|
настройка выключена (второй эшелон проверки — фронт тоже блокирует
|
||||||
|
кнопку, но сервер не полагается на это).
|
||||||
"""
|
"""
|
||||||
|
|
||||||
email: EmailStr
|
email: EmailStr
|
||||||
name_user: str = Field(min_length=1, max_length=255)
|
name_user: str = Field(min_length=1, max_length=255)
|
||||||
password: str = Field(min_length=8)
|
password: str = Field(min_length=8)
|
||||||
team_id: uuid.UUID | None = None
|
team_id: uuid.UUID | None = None
|
||||||
|
consent_accepted: bool = False
|
||||||
|
|
||||||
|
|
||||||
class VerifyEmailIn(BaseModel):
|
class VerifyEmailIn(BaseModel):
|
||||||
@@ -111,3 +117,10 @@ class RegistrationOptionsOut(BaseModel):
|
|||||||
team_choice_enabled: bool
|
team_choice_enabled: bool
|
||||||
teams: list[RegistrationTeamOptionOut]
|
teams: list[RegistrationTeamOptionOut]
|
||||||
email_domains: list[str] = Field(default_factory=list)
|
email_domains: list[str] = Field(default_factory=list)
|
||||||
|
# Согласие на обработку персональных данных: `consent_required` — обязательна
|
||||||
|
# ли галочка на форме регистрации; `consent_text`/`consent_version` отдаются
|
||||||
|
# ВСЕГДА, независимо от `consent_required` — той же строкой пользуется
|
||||||
|
# публичная страница регламента, доступная и при выключенном модуле.
|
||||||
|
consent_required: bool = False
|
||||||
|
consent_text: str = ""
|
||||||
|
consent_version: int = 1
|
||||||
|
|||||||
@@ -58,6 +58,15 @@ class InvalidEmailDomainError(Exception):
|
|||||||
"""
|
"""
|
||||||
|
|
||||||
|
|
||||||
|
class ConsentRequiredError(Exception):
|
||||||
|
"""Согласие на обработку персональных данных не отмечено.
|
||||||
|
|
||||||
|
Поднимается только при включённой настройке инстанса `consent_required`
|
||||||
|
(см. `InstanceSettingsService`) — второй эшелон проверки, фронт уже не
|
||||||
|
даёт отправить форму без галочки, но сервер не полагается на это.
|
||||||
|
"""
|
||||||
|
|
||||||
|
|
||||||
class InvalidVerificationTokenError(Exception):
|
class InvalidVerificationTokenError(Exception):
|
||||||
"""Токен подтверждения email не найден, просрочен или уже использован."""
|
"""Токен подтверждения email не найден, просрочен или уже использован."""
|
||||||
|
|
||||||
@@ -99,6 +108,7 @@ class AuthService:
|
|||||||
name_user: str,
|
name_user: str,
|
||||||
password: str,
|
password: str,
|
||||||
team_id: uuid.UUID | None = None,
|
team_id: uuid.UUID | None = None,
|
||||||
|
consent_accepted: bool = False,
|
||||||
) -> User:
|
) -> User:
|
||||||
"""Зарегистрировать пользователя и отправить письмо для подтверждения email.
|
"""Зарегистрировать пользователя и отправить письмо для подтверждения email.
|
||||||
|
|
||||||
@@ -109,7 +119,12 @@ class AuthService:
|
|||||||
email (`registration_email_domain_enabled`), домен `email` (часть
|
email (`registration_email_domain_enabled`), домен `email` (часть
|
||||||
после `@`, без учёта регистра) должен совпадать с одним из
|
после `@`, без учёта регистра) должен совпадать с одним из
|
||||||
эталонных доменов (`registration_email_domains`) — иначе
|
эталонных доменов (`registration_email_domains`) — иначе
|
||||||
`InvalidEmailDomainError`. Обе проверки — до создания пользователя.
|
`InvalidEmailDomainError`. Если включено согласие на обработку
|
||||||
|
персональных данных (`consent_required`), `consent_accepted` обязан
|
||||||
|
быть `True` — иначе `ConsentRequiredError`; при принятии согласия
|
||||||
|
в `User` пишутся `consent_version`/`consent_given_at` (редакция
|
||||||
|
регламента на момент согласия и время). Все проверки — до создания
|
||||||
|
пользователя.
|
||||||
"""
|
"""
|
||||||
existing = await self._users.get_by_email(email)
|
existing = await self._users.get_by_email(email)
|
||||||
if existing is not None:
|
if existing is not None:
|
||||||
@@ -129,11 +144,22 @@ class AuthService:
|
|||||||
if team is None:
|
if team is None:
|
||||||
raise InvalidTeamSelectionError(team_id)
|
raise InvalidTeamSelectionError(team_id)
|
||||||
|
|
||||||
|
if cfg.consent_required and not consent_accepted:
|
||||||
|
raise ConsentRequiredError
|
||||||
|
|
||||||
|
consent_version: int | None = None
|
||||||
|
consent_given_at: datetime | None = None
|
||||||
|
if cfg.consent_required and consent_accepted:
|
||||||
|
consent_version = cfg.consent_policy_version
|
||||||
|
consent_given_at = datetime.now(UTC)
|
||||||
|
|
||||||
user = await self._users.create(
|
user = await self._users.create(
|
||||||
email=email,
|
email=email,
|
||||||
name_user=name_user,
|
name_user=name_user,
|
||||||
password_hash=await hash_password(password),
|
password_hash=await hash_password(password),
|
||||||
team_id=team_id,
|
team_id=team_id,
|
||||||
|
consent_version=consent_version,
|
||||||
|
consent_given_at=consent_given_at,
|
||||||
)
|
)
|
||||||
reply_to = cfg.contact_email if cfg.contact_email_enabled else None
|
reply_to = cfg.contact_email if cfg.contact_email_enabled else None
|
||||||
await self._issue_verification_email(user, reply_to=reply_to)
|
await self._issue_verification_email(user, reply_to=reply_to)
|
||||||
|
|||||||
@@ -54,6 +54,7 @@ _KEY_REGISTRATION_TEAM_CHOICE = "registration_team_choice"
|
|||||||
_KEY_REGISTRATION_EMAIL_DOMAIN = "registration_email_domain"
|
_KEY_REGISTRATION_EMAIL_DOMAIN = "registration_email_domain"
|
||||||
_KEY_CONTACT_EMAIL = "contact_email"
|
_KEY_CONTACT_EMAIL = "contact_email"
|
||||||
_KEY_MEDIA_LIMITS = "media_limits"
|
_KEY_MEDIA_LIMITS = "media_limits"
|
||||||
|
_KEY_CONSENT_POLICY = "consent_policy"
|
||||||
|
|
||||||
BOOTSTRAP_MANAGED_KEYS: tuple[str, ...] = (
|
BOOTSTRAP_MANAGED_KEYS: tuple[str, ...] = (
|
||||||
_KEY_CHAT,
|
_KEY_CHAT,
|
||||||
@@ -79,6 +80,40 @@ _DEFAULT_REGISTRATION_EMAIL_DOMAIN_VALUE: dict[str, Any] = {"enabled": False, "d
|
|||||||
_DEFAULT_CONTACT_EMAIL_VALUE: dict[str, Any] = {"enabled": False, "email": None}
|
_DEFAULT_CONTACT_EMAIL_VALUE: dict[str, Any] = {"enabled": False, "email": None}
|
||||||
_DEFAULT_MEDIA_LIMITS_VALUE: dict[str, Any] = {"publish_quality_cap": "off", "stage_max_tiles": 25}
|
_DEFAULT_MEDIA_LIMITS_VALUE: dict[str, Any] = {"publish_quality_cap": "off", "stage_max_tiles": 25}
|
||||||
|
|
||||||
|
DEFAULT_CONSENT_POLICY_TEXT = """Это типовой шаблон для предварительной демонстрации. Текст не проходил проверку юриста и не может использоваться как окончательная редакция без такой проверки. Администратор обязан заменить плейсхолдеры в квадратных скобках и, при необходимости, весь текст — под свою организацию и юрисдикцию.
|
||||||
|
|
||||||
|
1. Оператор персональных данных
|
||||||
|
Оператором персональных данных, обрабатываемых при использовании сервиса [название сервиса], является: [полное наименование организации], [ОГРН/ИНН], адрес места нахождения: [адрес]. Контакты по вопросам обработки персональных данных: [email], [телефон].
|
||||||
|
|
||||||
|
2. Правовое основание обработки
|
||||||
|
Обработка персональных данных осуществляется в соответствии с Конституцией Российской Федерации, Федеральным законом от 27.07.2006 № 152-ФЗ «О персональных данных» и принятыми в соответствии с ним нормативными правовыми актами, на основании согласия субъекта персональных данных (статья 9 Федерального закона № 152-ФЗ).
|
||||||
|
|
||||||
|
3. Состав и цели обработки
|
||||||
|
При регистрации в сервисе обрабатываются следующие персональные данные: адрес электронной почты, имя и фамилия (или иное указанное пользователем имя), пароль (в виде хеша) [дополнить при необходимости].
|
||||||
|
Цели обработки: [указать цели — например: создание учётной записи, идентификация пользователя, обеспечение доступа к видеоконференциям, направление служебных уведомлений].
|
||||||
|
|
||||||
|
4. Срок обработки и хранения
|
||||||
|
Персональные данные хранятся в течение [указать срок — например: срока действия учётной записи и установленного законом срока после её удаления] либо до отзыва согласия, если это не противоречит требованиям законодательства.
|
||||||
|
|
||||||
|
5. Действия с персональными данными
|
||||||
|
В отношении персональных данных совершаются следующие действия: сбор, запись, систематизация, накопление, хранение, уточнение, извлечение, использование, передача (в объёме, необходимом для функционирования сервиса), обезличивание, блокирование, удаление, уничтожение.
|
||||||
|
|
||||||
|
6. Права субъекта персональных данных
|
||||||
|
Субъект персональных данных вправе получать информацию о том, как обрабатываются его персональные данные, требовать их уточнения, блокирования или уничтожения, а также отозвать согласие на обработку, обратившись по контактам, указанным в разделе 1.
|
||||||
|
|
||||||
|
7. Согласие
|
||||||
|
Регистрируясь в сервисе, пользователь подтверждает, что ознакомлен с настоящим регламентом и даёт согласие на обработку своих персональных данных на условиях, изложенных выше."""
|
||||||
|
"""Дефолтный текст регламента (ключ `consent_policy`) — согласован с оператором
|
||||||
|
до встраивания в код (сессия 30). Шаблон с плейсхолдерами в квадратных
|
||||||
|
скобках, без указания конкретной организации — администратор обязан
|
||||||
|
заменить их под свою организацию перед вводом в эксплуатацию."""
|
||||||
|
|
||||||
|
_DEFAULT_CONSENT_POLICY_VALUE: dict[str, Any] = {
|
||||||
|
"enabled": False,
|
||||||
|
"text": DEFAULT_CONSENT_POLICY_TEXT,
|
||||||
|
"version": 1,
|
||||||
|
}
|
||||||
|
|
||||||
# Простой паттерн доменного имени: минимум один символ, минимум одна точка,
|
# Простой паттерн доменного имени: минимум один символ, минимум одна точка,
|
||||||
# метки из латинских букв/цифр/дефисов (без ведущего/конечного дефиса),
|
# метки из латинских букв/цифр/дефисов (без ведущего/конечного дефиса),
|
||||||
# без пробелов — валидация после нормализации (strip, «@», lower).
|
# без пробелов — валидация после нормализации (strip, «@», lower).
|
||||||
@@ -114,6 +149,8 @@ class SettingsUpdateIn(BaseModel):
|
|||||||
contact_email: str | None = None
|
contact_email: str | None = None
|
||||||
publish_quality_cap: PublishQualityCap | None = None
|
publish_quality_cap: PublishQualityCap | None = None
|
||||||
stage_max_tiles: StageMaxTiles | None = None
|
stage_max_tiles: StageMaxTiles | None = None
|
||||||
|
consent_required: bool | None = None
|
||||||
|
consent_policy_text: str | None = None
|
||||||
|
|
||||||
|
|
||||||
class BootstrapOverrides(BaseModel):
|
class BootstrapOverrides(BaseModel):
|
||||||
@@ -165,6 +202,7 @@ def build_bootstrap_defaults(
|
|||||||
_KEY_REGISTRATION_EMAIL_DOMAIN: dict(_DEFAULT_REGISTRATION_EMAIL_DOMAIN_VALUE),
|
_KEY_REGISTRATION_EMAIL_DOMAIN: dict(_DEFAULT_REGISTRATION_EMAIL_DOMAIN_VALUE),
|
||||||
_KEY_CONTACT_EMAIL: dict(_DEFAULT_CONTACT_EMAIL_VALUE),
|
_KEY_CONTACT_EMAIL: dict(_DEFAULT_CONTACT_EMAIL_VALUE),
|
||||||
_KEY_MEDIA_LIMITS: dict(_DEFAULT_MEDIA_LIMITS_VALUE),
|
_KEY_MEDIA_LIMITS: dict(_DEFAULT_MEDIA_LIMITS_VALUE),
|
||||||
|
_KEY_CONSENT_POLICY: dict(_DEFAULT_CONSENT_POLICY_VALUE),
|
||||||
}
|
}
|
||||||
if overrides is None:
|
if overrides is None:
|
||||||
return defaults
|
return defaults
|
||||||
@@ -201,6 +239,11 @@ class InvalidEmailDomainError(ValueError):
|
|||||||
"""
|
"""
|
||||||
|
|
||||||
|
|
||||||
|
class InvalidConsentPolicyError(ValueError):
|
||||||
|
"""Попытка включить обязательное согласие при пустом тексте регламента
|
||||||
|
(`consent_required=True` без непустого `consent_policy_text`)."""
|
||||||
|
|
||||||
|
|
||||||
class InvalidContactEmailError(ValueError):
|
class InvalidContactEmailError(ValueError):
|
||||||
"""Некорректная настройка контактного адреса инстанса.
|
"""Некорректная настройка контактного адреса инстанса.
|
||||||
|
|
||||||
@@ -371,6 +414,34 @@ class InstanceSettingsService:
|
|||||||
cfg.media_limits = MediaLimitsConfig(publish_quality_cap=cap, stage_max_tiles=max_tiles)
|
cfg.media_limits = MediaLimitsConfig(publish_quality_cap=cap, stage_max_tiles=max_tiles)
|
||||||
await self._set(_KEY_MEDIA_LIMITS, cfg.media_limits.model_dump(mode="json"))
|
await self._set(_KEY_MEDIA_LIMITS, cfg.media_limits.model_dump(mode="json"))
|
||||||
|
|
||||||
|
if patch.consent_required is not None or patch.consent_policy_text is not None:
|
||||||
|
consent_required = (
|
||||||
|
patch.consent_required if patch.consent_required is not None else cfg.consent_required
|
||||||
|
)
|
||||||
|
consent_text = (
|
||||||
|
patch.consent_policy_text.strip()
|
||||||
|
if patch.consent_policy_text is not None
|
||||||
|
else cfg.consent_policy_text
|
||||||
|
)
|
||||||
|
if consent_required and not consent_text:
|
||||||
|
raise InvalidConsentPolicyError(
|
||||||
|
"нельзя включить обязательное согласие с пустым текстом регламента"
|
||||||
|
)
|
||||||
|
# Версия — счётчик редакций текста, а не хеш/дата: администратору
|
||||||
|
# проще сослаться на «редакцию №3», чем на хеш, а инкремент (в
|
||||||
|
# отличие от даты) однозначно фиксирует факт правки даже при
|
||||||
|
# повторном сохранении одного и того же текста в одну секунду.
|
||||||
|
consent_version = cfg.consent_policy_version
|
||||||
|
if consent_text != cfg.consent_policy_text:
|
||||||
|
consent_version += 1
|
||||||
|
cfg.consent_required = consent_required
|
||||||
|
cfg.consent_policy_text = consent_text
|
||||||
|
cfg.consent_policy_version = consent_version
|
||||||
|
await self._set(
|
||||||
|
_KEY_CONSENT_POLICY,
|
||||||
|
{"enabled": consent_required, "text": consent_text, "version": consent_version},
|
||||||
|
)
|
||||||
|
|
||||||
await self._session.commit()
|
await self._session.commit()
|
||||||
return cfg
|
return cfg
|
||||||
|
|
||||||
@@ -525,4 +596,13 @@ def _build_config(rows: dict[str, Any]) -> InstanceConfig:
|
|||||||
media_limits=MediaLimitsConfig.model_validate(
|
media_limits=MediaLimitsConfig.model_validate(
|
||||||
rows.get(_KEY_MEDIA_LIMITS, _DEFAULT_MEDIA_LIMITS_VALUE)
|
rows.get(_KEY_MEDIA_LIMITS, _DEFAULT_MEDIA_LIMITS_VALUE)
|
||||||
),
|
),
|
||||||
|
consent_required=rows.get(_KEY_CONSENT_POLICY, _DEFAULT_CONSENT_POLICY_VALUE).get(
|
||||||
|
"enabled", False
|
||||||
|
),
|
||||||
|
consent_policy_text=rows.get(_KEY_CONSENT_POLICY, _DEFAULT_CONSENT_POLICY_VALUE).get(
|
||||||
|
"text", DEFAULT_CONSENT_POLICY_TEXT
|
||||||
|
),
|
||||||
|
consent_policy_version=rows.get(_KEY_CONSENT_POLICY, _DEFAULT_CONSENT_POLICY_VALUE).get(
|
||||||
|
"version", 1
|
||||||
|
),
|
||||||
)
|
)
|
||||||
|
|||||||
@@ -40,7 +40,11 @@ async def _reset_registration_gating(db_session: AsyncSession) -> None:
|
|||||||
`conftest.py`).
|
`conftest.py`).
|
||||||
"""
|
"""
|
||||||
await InstanceSettingsService(db_session).update(
|
await InstanceSettingsService(db_session).update(
|
||||||
SettingsUpdateIn(registration_team_choice=False, registration_email_domain_enabled=False)
|
SettingsUpdateIn(
|
||||||
|
registration_team_choice=False,
|
||||||
|
registration_email_domain_enabled=False,
|
||||||
|
consent_required=False,
|
||||||
|
)
|
||||||
)
|
)
|
||||||
await db_session.commit()
|
await db_session.commit()
|
||||||
|
|
||||||
@@ -495,6 +499,90 @@ async def test_register_no_reply_to_when_contact_email_disabled(
|
|||||||
assert email_backend.reply_to[-1] is None
|
assert email_backend.reply_to[-1] is None
|
||||||
|
|
||||||
|
|
||||||
|
async def test_registration_options_returns_consent_fields(
|
||||||
|
client: httpx.AsyncClient, db_session: AsyncSession
|
||||||
|
) -> None:
|
||||||
|
"""`consent_text`/`consent_version` отдаются ВСЕГДА (нужны странице регламента),
|
||||||
|
`consent_required` — по факту настройки инстанса."""
|
||||||
|
await InstanceSettingsService(db_session).update(
|
||||||
|
SettingsUpdateIn(consent_policy_text="Текст регламента для теста")
|
||||||
|
)
|
||||||
|
await db_session.commit()
|
||||||
|
|
||||||
|
response = await client.get("/api/v1/auth/registration-options")
|
||||||
|
assert response.status_code == 200, response.text
|
||||||
|
body = response.json()
|
||||||
|
assert body["consent_required"] is False
|
||||||
|
assert body["consent_text"] == "Текст регламента для теста"
|
||||||
|
assert isinstance(body["consent_version"], int)
|
||||||
|
|
||||||
|
|
||||||
|
async def test_register_without_consent_when_required_returns_400(
|
||||||
|
client: httpx.AsyncClient, db_session: AsyncSession, email_backend: _CapturingEmailBackend
|
||||||
|
) -> None:
|
||||||
|
"""Сервер отказывает в регистрации без галочки, даже если фронт её не прислал —
|
||||||
|
второй эшелон проверки (тот же принцип, что `hand_queue_disabled` в 0.0.28)."""
|
||||||
|
await InstanceSettingsService(db_session).update(
|
||||||
|
SettingsUpdateIn(consent_required=True, consent_policy_text="Текст регламента")
|
||||||
|
)
|
||||||
|
await db_session.commit()
|
||||||
|
|
||||||
|
response = await client.post(
|
||||||
|
"/api/v1/auth/register",
|
||||||
|
json={"email": "no-consent@example.com", "name_user": "No Consent", "password": "supersecret1"},
|
||||||
|
)
|
||||||
|
assert response.status_code == 400
|
||||||
|
assert response.json()["detail"] == "consent_required"
|
||||||
|
|
||||||
|
result = await db_session.execute(select(User).where(User.email == "no-consent@example.com"))
|
||||||
|
assert result.scalar_one_or_none() is None
|
||||||
|
|
||||||
|
|
||||||
|
async def test_register_with_consent_when_required_writes_version_and_date(
|
||||||
|
client: httpx.AsyncClient, db_session: AsyncSession, email_backend: _CapturingEmailBackend
|
||||||
|
) -> None:
|
||||||
|
"""Принятое согласие пишется в БД вместе с редакцией регламента и датой."""
|
||||||
|
cfg = await InstanceSettingsService(db_session).update(
|
||||||
|
SettingsUpdateIn(consent_required=True, consent_policy_text="Текст регламента для приёмки")
|
||||||
|
)
|
||||||
|
await db_session.commit()
|
||||||
|
|
||||||
|
response = await client.post(
|
||||||
|
"/api/v1/auth/register",
|
||||||
|
json={
|
||||||
|
"email": "with-consent@example.com",
|
||||||
|
"name_user": "With Consent",
|
||||||
|
"password": "supersecret1",
|
||||||
|
"consent_accepted": True,
|
||||||
|
},
|
||||||
|
)
|
||||||
|
assert response.status_code == 201, response.text
|
||||||
|
|
||||||
|
result = await db_session.execute(select(User).where(User.email == "with-consent@example.com"))
|
||||||
|
created = result.scalar_one()
|
||||||
|
assert created.consent_version == cfg.consent_policy_version
|
||||||
|
assert created.consent_given_at is not None
|
||||||
|
|
||||||
|
|
||||||
|
async def test_register_without_consent_when_module_disabled_succeeds_and_leaves_it_null(
|
||||||
|
client: httpx.AsyncClient, db_session: AsyncSession, email_backend: _CapturingEmailBackend
|
||||||
|
) -> None:
|
||||||
|
"""Модуль выключен (дефолт `_reset_registration_gating`) — регистрация не требует
|
||||||
|
галочки, `consent_version`/`consent_given_at` остаются `NULL`."""
|
||||||
|
response = await client.post(
|
||||||
|
"/api/v1/auth/register",
|
||||||
|
json={"email": "consent-disabled@example.com", "name_user": "Consent Disabled", "password": "supersecret1"},
|
||||||
|
)
|
||||||
|
assert response.status_code == 201, response.text
|
||||||
|
|
||||||
|
result = await db_session.execute(
|
||||||
|
select(User).where(User.email == "consent-disabled@example.com")
|
||||||
|
)
|
||||||
|
created = result.scalar_one()
|
||||||
|
assert created.consent_version is None
|
||||||
|
assert created.consent_given_at is None
|
||||||
|
|
||||||
|
|
||||||
async def test_login_rehashes_legacy_password(
|
async def test_login_rehashes_legacy_password(
|
||||||
client: httpx.AsyncClient, db_session: AsyncSession, email_backend: _CapturingEmailBackend
|
client: httpx.AsyncClient, db_session: AsyncSession, email_backend: _CapturingEmailBackend
|
||||||
) -> None:
|
) -> None:
|
||||||
|
|||||||
@@ -237,6 +237,42 @@ async def test_no_duplicate_when_message_already_in_history(
|
|||||||
assert received["message"]["text"] == "genuinely new"
|
assert received["message"]["text"] == "genuinely new"
|
||||||
|
|
||||||
|
|
||||||
|
# --- Удержание соединения с БД ------------------------------------------------
|
||||||
|
|
||||||
|
|
||||||
|
async def test_handshake_releases_db_connection(
|
||||||
|
db_session: AsyncSession, ws_client: WSFactory
|
||||||
|
) -> None:
|
||||||
|
"""Regression: после хендшейка WS не держит открытую транзакцию БД.
|
||||||
|
|
||||||
|
Обработчик получает `AsyncSession` на ВСЁ время жизни соединения, а
|
||||||
|
SELECT'ы хендшейка (тоггл чата, конференция, тоггл рук, история)
|
||||||
|
открывают транзакцию. Без явного `commit` она висела бы, пока участник
|
||||||
|
сидит в комнате: одно занятое соединение из пула на каждого человека
|
||||||
|
в конференции. На нагрузочном тесте 07.08.2026 это выгребло пул
|
||||||
|
(`db_pool_size + db_max_overflow` = 20 на воркер, 40 на инстанс) при
|
||||||
|
сорока участниках — и вход в систему начал отдавать 500 всем
|
||||||
|
остальным. Проверяем именно отсутствие открытой транзакции, а не
|
||||||
|
состояние пула: тестовая сессия привязана к своему соединению
|
||||||
|
(см. докстринг `tests/conftest.py`) и пул не задействует.
|
||||||
|
"""
|
||||||
|
conference = await _make_conference(db_session)
|
||||||
|
user = await _make_user(db_session)
|
||||||
|
await db_session.commit()
|
||||||
|
|
||||||
|
ws = ws_client(_chat_path(conference.id))
|
||||||
|
await _connect_and_auth(ws, _user_token(conference, user))
|
||||||
|
|
||||||
|
assert not db_session.in_transaction()
|
||||||
|
|
||||||
|
# Запись сообщения открывает транзакцию заново — и тоже обязана её
|
||||||
|
# закрыть, иначе первый же чат вернул бы прежнее поведение.
|
||||||
|
await ws.send_json({"type": "message", "text": "проверка"})
|
||||||
|
echo = await ws.receive_json()
|
||||||
|
assert echo["type"] == "message"
|
||||||
|
assert not db_session.in_transaction()
|
||||||
|
|
||||||
|
|
||||||
# --- Auth: коды закрытия ----------------------------------------------------
|
# --- Auth: коды закрытия ----------------------------------------------------
|
||||||
|
|
||||||
|
|
||||||
|
|||||||
@@ -48,6 +48,7 @@ from services.instance_settings import (
|
|||||||
BootstrapOverrides,
|
BootstrapOverrides,
|
||||||
InstanceSettingsService,
|
InstanceSettingsService,
|
||||||
InvalidAiLevelError,
|
InvalidAiLevelError,
|
||||||
|
InvalidConsentPolicyError,
|
||||||
InvalidContactEmailError,
|
InvalidContactEmailError,
|
||||||
InvalidEmailDomainError,
|
InvalidEmailDomainError,
|
||||||
InvalidTimezoneError,
|
InvalidTimezoneError,
|
||||||
@@ -73,6 +74,7 @@ _MANAGED_KEYS = (
|
|||||||
"registration_email_domain",
|
"registration_email_domain",
|
||||||
"contact_email",
|
"contact_email",
|
||||||
"media_limits",
|
"media_limits",
|
||||||
|
"consent_policy",
|
||||||
)
|
)
|
||||||
|
|
||||||
|
|
||||||
@@ -130,6 +132,7 @@ async def test_ensure_bootstrapped_imports_yaml_defaults(
|
|||||||
"registration_email_domain",
|
"registration_email_domain",
|
||||||
"contact_email",
|
"contact_email",
|
||||||
"media_limits",
|
"media_limits",
|
||||||
|
"consent_policy",
|
||||||
}
|
}
|
||||||
cfg = await service.get()
|
cfg = await service.get()
|
||||||
assert cfg.transcriber.provider == "faster_whisper_cpu"
|
assert cfg.transcriber.provider == "faster_whisper_cpu"
|
||||||
@@ -149,6 +152,13 @@ async def test_ensure_bootstrapped_imports_yaml_defaults(
|
|||||||
# потолку `StageGrid` (5×5).
|
# потолку `StageGrid` (5×5).
|
||||||
assert cfg.media_limits.publish_quality_cap == "off"
|
assert cfg.media_limits.publish_quality_cap == "off"
|
||||||
assert cfg.media_limits.stage_max_tiles == 25
|
assert cfg.media_limits.stage_max_tiles == 25
|
||||||
|
# Согласие на обработку персональных данных выключено по умолчанию
|
||||||
|
# (дефолт сохраняет поведение существующих инсталляций), но дефолтный
|
||||||
|
# текст-шаблон уже на месте — публичная страница регламента осмысленна
|
||||||
|
# даже при выключенном модуле.
|
||||||
|
assert cfg.consent_required is False
|
||||||
|
assert cfg.consent_policy_text != ""
|
||||||
|
assert cfg.consent_policy_version == 1
|
||||||
|
|
||||||
|
|
||||||
async def test_ensure_bootstrapped_is_idempotent_and_keeps_admin_edits(
|
async def test_ensure_bootstrapped_is_idempotent_and_keeps_admin_edits(
|
||||||
@@ -351,6 +361,61 @@ async def test_registration_team_choice_toggle(
|
|||||||
assert reloaded.registration_team_choice is True
|
assert reloaded.registration_team_choice is True
|
||||||
|
|
||||||
|
|
||||||
|
async def test_consent_policy_toggle_without_text_change_keeps_version(
|
||||||
|
db_session: AsyncSession, clean_instance_settings: None
|
||||||
|
) -> None:
|
||||||
|
"""Включение флага без правки текста не увеличивает версию."""
|
||||||
|
service = InstanceSettingsService(db_session)
|
||||||
|
await service.ensure_bootstrapped(PLUGINS_YAML)
|
||||||
|
baseline = await service.get()
|
||||||
|
assert baseline.consent_required is False
|
||||||
|
|
||||||
|
cfg = await service.update(SettingsUpdateIn(consent_required=True))
|
||||||
|
|
||||||
|
assert cfg.consent_required is True
|
||||||
|
assert cfg.consent_policy_version == baseline.consent_policy_version
|
||||||
|
|
||||||
|
reloaded = await service.get()
|
||||||
|
assert reloaded.consent_required is True
|
||||||
|
assert reloaded.consent_policy_version == baseline.consent_policy_version
|
||||||
|
|
||||||
|
|
||||||
|
async def test_consent_policy_text_change_bumps_version(
|
||||||
|
db_session: AsyncSession, clean_instance_settings: None
|
||||||
|
) -> None:
|
||||||
|
"""Правка текста регламента увеличивает версию — иначе «версия согласия» в БД бессмысленна."""
|
||||||
|
service = InstanceSettingsService(db_session)
|
||||||
|
await service.ensure_bootstrapped(PLUGINS_YAML)
|
||||||
|
baseline = await service.get()
|
||||||
|
|
||||||
|
cfg = await service.update(SettingsUpdateIn(consent_policy_text="Новый текст регламента"))
|
||||||
|
assert cfg.consent_policy_text == "Новый текст регламента"
|
||||||
|
assert cfg.consent_policy_version == baseline.consent_policy_version + 1
|
||||||
|
|
||||||
|
# Повторное сохранение ТОГО ЖЕ текста версию больше не двигает.
|
||||||
|
cfg2 = await service.update(SettingsUpdateIn(consent_policy_text="Новый текст регламента"))
|
||||||
|
assert cfg2.consent_policy_version == cfg.consent_policy_version
|
||||||
|
|
||||||
|
reloaded = await service.get()
|
||||||
|
assert reloaded.consent_policy_version == cfg.consent_policy_version
|
||||||
|
|
||||||
|
|
||||||
|
async def test_consent_policy_enable_with_empty_text_rejected(
|
||||||
|
db_session: AsyncSession, clean_instance_settings: None
|
||||||
|
) -> None:
|
||||||
|
"""Нельзя включить обязательное согласие, если текст регламента пуст."""
|
||||||
|
service = InstanceSettingsService(db_session)
|
||||||
|
await service.ensure_bootstrapped(PLUGINS_YAML)
|
||||||
|
|
||||||
|
with pytest.raises(InvalidConsentPolicyError):
|
||||||
|
await service.update(
|
||||||
|
SettingsUpdateIn(consent_required=True, consent_policy_text=" ")
|
||||||
|
)
|
||||||
|
|
||||||
|
cfg = await service.get()
|
||||||
|
assert cfg.consent_required is False
|
||||||
|
|
||||||
|
|
||||||
async def test_registration_email_domain_enable_without_domain_rejected(
|
async def test_registration_email_domain_enable_without_domain_rejected(
|
||||||
db_session: AsyncSession, clean_instance_settings: None
|
db_session: AsyncSession, clean_instance_settings: None
|
||||||
) -> None:
|
) -> None:
|
||||||
|
|||||||
@@ -59,6 +59,12 @@ async def test_metrics_endpoint_returns_prometheus_exposition_format(
|
|||||||
assert "vidconf_pipeline_sessions" in families
|
assert "vidconf_pipeline_sessions" in families
|
||||||
assert "vidconf_celery_queue_depth" in families
|
assert "vidconf_celery_queue_depth" in families
|
||||||
assert "vidconf_host_info" in families
|
assert "vidconf_host_info" in families
|
||||||
|
assert "vidconf_db_up" in families
|
||||||
|
assert "vidconf_db_pool_size" in families
|
||||||
|
assert "vidconf_db_pool_max_overflow" in families
|
||||||
|
assert "vidconf_db_pool_checked_out" in families
|
||||||
|
assert "vidconf_redis_pool_in_use" in families
|
||||||
|
assert "vidconf_redis_pool_max_connections" in families
|
||||||
|
|
||||||
|
|
||||||
async def test_metrics_host_info_gauge_reflects_settings(
|
async def test_metrics_host_info_gauge_reflects_settings(
|
||||||
@@ -129,6 +135,72 @@ async def test_metrics_pipeline_sessions_gauge_reflects_new_session(
|
|||||||
assert after == before + 1
|
assert after == before + 1
|
||||||
|
|
||||||
|
|
||||||
|
async def test_metrics_db_up_gauge_reflects_real_connectivity(client: httpx.AsyncClient) -> None:
|
||||||
|
"""Против реального тестового Postgres (см. докстринг conftest) `vidconf_db_up` == 1."""
|
||||||
|
response = await client.get("/metrics")
|
||||||
|
value = _sample_value(_samples(response.text, "vidconf_db_up"), suffix="vidconf_db_up")
|
||||||
|
assert value == 1
|
||||||
|
|
||||||
|
|
||||||
|
async def test_metrics_db_up_gauge_reports_down_without_crashing_endpoint(
|
||||||
|
client: httpx.AsyncClient, monkeypatch: pytest.MonkeyPatch
|
||||||
|
) -> None:
|
||||||
|
"""Недоступность БД (проверка вне пула не удалась) не роняет `/metrics` — отдаёт 0, не 500."""
|
||||||
|
|
||||||
|
async def _fail() -> bool:
|
||||||
|
return False
|
||||||
|
|
||||||
|
monkeypatch.setattr(metrics_module, "check_db_up", _fail)
|
||||||
|
|
||||||
|
response = await client.get("/metrics")
|
||||||
|
|
||||||
|
assert response.status_code == 200
|
||||||
|
value = _sample_value(_samples(response.text, "vidconf_db_up"), suffix="vidconf_db_up")
|
||||||
|
assert value == 0
|
||||||
|
|
||||||
|
|
||||||
|
async def test_metrics_db_pool_gauges_reflect_settings_not_usage(
|
||||||
|
client: httpx.AsyncClient,
|
||||||
|
) -> None:
|
||||||
|
"""`vidconf_db_pool_size`/`_max_overflow` — конфигурация из `Settings`, не текущая занятость."""
|
||||||
|
settings = get_settings()
|
||||||
|
response = await client.get("/metrics")
|
||||||
|
|
||||||
|
samples_size = _samples(response.text, "vidconf_db_pool_size")
|
||||||
|
samples_overflow = _samples(response.text, "vidconf_db_pool_max_overflow")
|
||||||
|
size = _sample_value(samples_size, suffix="vidconf_db_pool_size")
|
||||||
|
max_overflow = _sample_value(samples_overflow, suffix="vidconf_db_pool_max_overflow")
|
||||||
|
|
||||||
|
assert size == settings.db_pool_size
|
||||||
|
assert max_overflow == settings.db_max_overflow
|
||||||
|
|
||||||
|
|
||||||
|
async def test_metrics_endpoint_survives_pipeline_gauge_failure(
|
||||||
|
client: httpx.AsyncClient, monkeypatch: pytest.MonkeyPatch
|
||||||
|
) -> None:
|
||||||
|
"""Падение/таймаут основного пула на одном gauge не роняет весь `/metrics`.
|
||||||
|
|
||||||
|
Симулирует ровно ситуацию инцидента 07.08 (`api/metrics.py` падал вместе
|
||||||
|
со всем остальным при исчерпанном пуле): `count_by_pipeline_status`
|
||||||
|
поднимает исключение — `vidconf_db_up`/`vidconf_db_pool_*` (не зависящие
|
||||||
|
от основного пула) при этом всё равно приходят в ответе.
|
||||||
|
"""
|
||||||
|
|
||||||
|
async def _raise(*args: object, **kwargs: object) -> dict[str, int]:
|
||||||
|
raise TimeoutError("основной пул занят (симуляция теста)")
|
||||||
|
|
||||||
|
monkeypatch.setattr(
|
||||||
|
"repositories.conferences.ConferenceSessionRepository.count_by_pipeline_status",
|
||||||
|
_raise,
|
||||||
|
)
|
||||||
|
|
||||||
|
response = await client.get("/metrics")
|
||||||
|
|
||||||
|
assert response.status_code == 200
|
||||||
|
db_up = _sample_value(_samples(response.text, "vidconf_db_up"), suffix="vidconf_db_up")
|
||||||
|
assert db_up == 1
|
||||||
|
|
||||||
|
|
||||||
async def test_metrics_celery_queue_depth_gauge(
|
async def test_metrics_celery_queue_depth_gauge(
|
||||||
client: httpx.AsyncClient, monkeypatch: pytest.MonkeyPatch
|
client: httpx.AsyncClient, monkeypatch: pytest.MonkeyPatch
|
||||||
) -> None:
|
) -> None:
|
||||||
|
|||||||
@@ -89,7 +89,7 @@ services:
|
|||||||
MEDIA_ROOT: ${MEDIA_ROOT:-/app/media}
|
MEDIA_ROOT: ${MEDIA_ROOT:-/app/media}
|
||||||
# Версия инстанса (релиз v0.0.1) — install.sh копирует значение
|
# Версия инстанса (релиз v0.0.1) — install.sh копирует значение
|
||||||
# из файла VERSION (корень репозитория) в .env; отдаётся в GET /api/health.
|
# из файла VERSION (корень репозитория) в .env; отдаётся в GET /api/health.
|
||||||
VIDCONF_VERSION: ${VIDCONF_VERSION:-0.0.29}
|
VIDCONF_VERSION: ${VIDCONF_VERSION:-0.0.32}
|
||||||
# Число процессов uvicorn (см. backend/Dockerfile). Дефолт 2 рассчитан
|
# Число процессов uvicorn (см. backend/Dockerfile). Дефолт 2 рассчитан
|
||||||
# на 4-ядерный сервер, где ядра делятся с LiveKit. Поднимая значение,
|
# на 4-ядерный сервер, где ядра делятся с LiveKit. Поднимая значение,
|
||||||
# проверьте бюджет соединений с БД: каждый воркер держит свой пул
|
# проверьте бюджет соединений с БД: каждый воркер держит свой пул
|
||||||
|
|||||||
@@ -61,6 +61,89 @@ groups:
|
|||||||
# см. также алерт QueueGrowing). Проверить
|
# см. также алерт QueueGrowing). Проверить
|
||||||
# `docker compose ps llm` / `llm-gpu` и `docker compose logs llm`.
|
# `docker compose ps llm` / `llm-gpu` и `docker compose logs llm`.
|
||||||
|
|
||||||
|
# Состояние БД и пулов соединений (сессия 33, разбор инцидента 07.08 —
|
||||||
|
# `.forcc/session-results/32-loadtest-07-08-debug.md`). `/api/health`
|
||||||
|
# отдавал 200 с `db: false` во время отказа — Prometheus его не скрейпит и
|
||||||
|
# не умеет разобрать JSON-тело, поэтому оба сигнала строятся на метриках
|
||||||
|
# `backend/api/metrics.py`, которые читаются вне основного пула.
|
||||||
|
- name: vidconf-db
|
||||||
|
rules:
|
||||||
|
# `vidconf_db_up` — отдельное соединение вне основного пула
|
||||||
|
# (`core/db.py::check_db_up`), поэтому 0 означает именно «БД не
|
||||||
|
# отвечает», а не «пул занят» (для второго см. DbConnectionPoolNearExhaustion
|
||||||
|
# ниже — раздельные метрики нарочно, см. «Главное требование» промпта
|
||||||
|
# сессии 33). `for: 30s` — два цикла скрейпа (`scrape_interval: 15s`),
|
||||||
|
# чтобы не среагировать на одиночный неудачный `connect()` (сеть/GC-пауза),
|
||||||
|
# но не тянуть с сигналом дольше: это самый критичный алерт в проекте.
|
||||||
|
- alert: DatabaseUnavailable
|
||||||
|
expr: vidconf_db_up == 0
|
||||||
|
for: 30s
|
||||||
|
labels:
|
||||||
|
severity: critical
|
||||||
|
annotations:
|
||||||
|
summary: "БД недоступна"
|
||||||
|
description: >-
|
||||||
|
vidconf_db_up == 0 дольше 30 секунд — backend не может открыть
|
||||||
|
отдельное (вне основного пула) соединение с Postgres. НЕ значит
|
||||||
|
автоматически «нужен рестарт контейнера» — по решению оператора
|
||||||
|
от 09.08 healthcheck backend'а остаётся мягким (не хардфейлится
|
||||||
|
на недоступной БД — рестарт-петля в разгар инцидента оборвала бы
|
||||||
|
WS у всех, кто в конференциях), это сигнал оператору, не
|
||||||
|
автолечение. Смотреть
|
||||||
|
`docker compose ps postgres`, `docker compose logs postgres`,
|
||||||
|
`pg_isready`.
|
||||||
|
|
||||||
|
# Раннее предупреждение — тот самый сигнал, которого не хватило
|
||||||
|
# 07.08: пул заполнялся постепенно (idle in transaction 3→8→16→26→35→
|
||||||
|
# 39→40 участников комнаты, см. session 32), а `up{job="backend"}`
|
||||||
|
# ничего не показывал, потому что backend отвечал исправно вплоть до
|
||||||
|
# самого потолка. Порог 80% — предложение из промпта сессии 33,
|
||||||
|
# `for: 1m` — фильтр от секундных всплесков (короткий пик параллельных
|
||||||
|
# запросов рассасывается за секунды, устойчивый рост участников
|
||||||
|
# комнаты — нет). На нагрузочном тесте 07.08 от пересечения 80% до
|
||||||
|
# исчерпания пула прошло по грубой оценке меньше двух минут — порог
|
||||||
|
# НЕ даёт большого запаса и это осознанный компромисс, а не идеал:
|
||||||
|
# цель — успеть до 500-х у пользователей, а не за много минут
|
||||||
|
# заранее. Перепроверить оба числа на следующем нагрузочном тесте
|
||||||
|
# (см. .forcc/session-results/33-db-health-alert.md) и подстроить,
|
||||||
|
# если реальный запас окажется у́же ожидаемого.
|
||||||
|
- alert: DbConnectionPoolNearExhaustion
|
||||||
|
expr: >-
|
||||||
|
(vidconf_db_pool_checked_out
|
||||||
|
/ (vidconf_db_pool_size + vidconf_db_pool_max_overflow)) * 100 > 80
|
||||||
|
for: 1m
|
||||||
|
labels:
|
||||||
|
severity: warning
|
||||||
|
annotations:
|
||||||
|
summary: "Основной пул соединений с БД близок к исчерпанию"
|
||||||
|
description: >-
|
||||||
|
Занято {{ $value | printf "%.0f" }}% основного пула БД дольше
|
||||||
|
минуты (порог 80%). Частая причина в этом проекте — долгоживущие
|
||||||
|
WS-подключения комнат (`api/chat.py`) держат соединение на
|
||||||
|
каждого сидящего в конференции; смотреть
|
||||||
|
`vidconf_db_pool_checked_out` и число открытых WS чата в логах,
|
||||||
|
не только текущую HTTP-нагрузку.
|
||||||
|
|
||||||
|
# Тот же класс отказа, что у пула БД (см. выше), только пул Redis —
|
||||||
|
# закрыт в 0.0.31 (`451c18e`) заданием явного max_connections, но без
|
||||||
|
# метрики занятости прошлый потолок нашёлся только руками на
|
||||||
|
# нагрузочном тесте. Бонус к задаче сессии 33 («потолки в этом
|
||||||
|
# проекте стоят лесенкой»), не отдельно запрошен промптом — пороги
|
||||||
|
# взяты по аналогии с пулом БД, не проверялись отдельным нагрузочным
|
||||||
|
# тестом именно на Redis.
|
||||||
|
- alert: RedisConnectionPoolNearExhaustion
|
||||||
|
expr: (vidconf_redis_pool_in_use / vidconf_redis_pool_max_connections) * 100 > 80
|
||||||
|
for: 1m
|
||||||
|
labels:
|
||||||
|
severity: warning
|
||||||
|
annotations:
|
||||||
|
summary: "Пул соединений Redis близок к исчерпанию"
|
||||||
|
description: >-
|
||||||
|
Занято {{ $value | printf "%.0f" }}% пула Redis дольше минуты
|
||||||
|
(порог 80%). Каждое WS-подключение комнаты держит собственную
|
||||||
|
pub/sub-подписку из этого же пула — смотреть число открытых WS
|
||||||
|
чата, не только команды Celery/кэша.
|
||||||
|
|
||||||
# Железо хоста (job `node` — node-exporter). Пороги подобраны под
|
# Железо хоста (job `node` — node-exporter). Пороги подобраны под
|
||||||
# конкретный сервер 1gb: 8 ГБ RAM, 4 CPU, 50 ГБ диска — если сервер
|
# конкретный сервер 1gb: 8 ГБ RAM, 4 CPU, 50 ГБ диска — если сервер
|
||||||
# сменится, пересчитать.
|
# сменится, пересчитать.
|
||||||
|
|||||||
173
deploy/monitoring/grafana/dashboards/db-pool.json
Normal file
173
deploy/monitoring/grafana/dashboards/db-pool.json
Normal file
@@ -0,0 +1,173 @@
|
|||||||
|
{
|
||||||
|
"title": "БД и пулы соединений",
|
||||||
|
"description": "Доступность БД (vidconf_db_up) и занятость основных пулов (SQLAlchemy/БД, Redis) — метрики читаются вне самих пулов, доступны и при их исчерпании (сессия 33, разбор инцидента 07.08 — .forcc/session-results/32-loadtest-07-08-debug.md). Пороги алертов см. deploy/monitoring/alerts.yml (группа vidconf-db).",
|
||||||
|
"uid": "vidconf-db-pool",
|
||||||
|
"editable": false,
|
||||||
|
"timezone": "browser",
|
||||||
|
"schemaVersion": 39,
|
||||||
|
"version": 1,
|
||||||
|
"time": { "from": "now-1h", "to": "now" },
|
||||||
|
"refresh": "10s",
|
||||||
|
"tags": ["vidconf", "db", "pool"],
|
||||||
|
"panels": [
|
||||||
|
{
|
||||||
|
"id": 1,
|
||||||
|
"title": "БД доступна",
|
||||||
|
"description": "vidconf_db_up — отдельное соединение вне основного пула (core/db.py::check_db_up). Алерт DatabaseUnavailable, for: 30s.",
|
||||||
|
"type": "stat",
|
||||||
|
"gridPos": { "h": 4, "w": 6, "x": 0, "y": 0 },
|
||||||
|
"datasource": { "type": "prometheus", "uid": "prometheus" },
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"mappings": [
|
||||||
|
{ "type": "value", "options": { "0": { "text": "DOWN", "color": "red" }, "1": { "text": "UP", "color": "green" } } }
|
||||||
|
],
|
||||||
|
"thresholds": { "mode": "absolute", "steps": [{ "color": "red", "value": null }, { "color": "green", "value": 1 }] }
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{ "datasource": { "type": "prometheus", "uid": "prometheus" }, "expr": "vidconf_db_up", "refId": "A" }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 2,
|
||||||
|
"title": "Занятость пула БД сейчас, %",
|
||||||
|
"description": "vidconf_db_pool_checked_out / (vidconf_db_pool_size + vidconf_db_pool_max_overflow) * 100. Порог алерта DbConnectionPoolNearExhaustion — 80% дольше минуты.",
|
||||||
|
"type": "stat",
|
||||||
|
"gridPos": { "h": 4, "w": 6, "x": 6, "y": 0 },
|
||||||
|
"datasource": { "type": "prometheus", "uid": "prometheus" },
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "percent",
|
||||||
|
"min": 0,
|
||||||
|
"max": 100,
|
||||||
|
"thresholds": { "mode": "absolute", "steps": [{ "color": "green", "value": null }, { "color": "orange", "value": 60 }, { "color": "red", "value": 80 }] }
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": { "type": "prometheus", "uid": "prometheus" },
|
||||||
|
"expr": "(vidconf_db_pool_checked_out / (vidconf_db_pool_size + vidconf_db_pool_max_overflow)) * 100",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 3,
|
||||||
|
"title": "Занятость пула Redis сейчас, %",
|
||||||
|
"description": "vidconf_redis_pool_in_use / vidconf_redis_pool_max_connections * 100. Порог алерта RedisConnectionPoolNearExhaustion — 80% дольше минуты.",
|
||||||
|
"type": "stat",
|
||||||
|
"gridPos": { "h": 4, "w": 6, "x": 12, "y": 0 },
|
||||||
|
"datasource": { "type": "prometheus", "uid": "prometheus" },
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "percent",
|
||||||
|
"min": 0,
|
||||||
|
"max": 100,
|
||||||
|
"thresholds": { "mode": "absolute", "steps": [{ "color": "green", "value": null }, { "color": "orange", "value": 60 }, { "color": "red", "value": 80 }] }
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": { "type": "prometheus", "uid": "prometheus" },
|
||||||
|
"expr": "(vidconf_redis_pool_in_use / vidconf_redis_pool_max_connections) * 100",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 4,
|
||||||
|
"title": "Активных алертов группы vidconf-db",
|
||||||
|
"description": "ALERTS{alertname=~\"DatabaseUnavailable|.*PoolNearExhaustion\", alertstate=\"firing\"} — снимок того, что прямо сейчас видит Alertmanager/страница Alerts.",
|
||||||
|
"type": "stat",
|
||||||
|
"gridPos": { "h": 4, "w": 6, "x": 18, "y": 0 },
|
||||||
|
"datasource": { "type": "prometheus", "uid": "prometheus" },
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"thresholds": { "mode": "absolute", "steps": [{ "color": "green", "value": null }, { "color": "red", "value": 1 }] }
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": { "type": "prometheus", "uid": "prometheus" },
|
||||||
|
"expr": "count(ALERTS{alertname=~\"DatabaseUnavailable|.*PoolNearExhaustion\", alertstate=\"firing\"}) OR on() vector(0)",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 5,
|
||||||
|
"title": "Занятость пула БД (соединений)",
|
||||||
|
"description": "vidconf_db_pool_checked_out на фоне вместимости (size + max_overflow) — эта картина должна расти под нагрузочным тестом до срабатывания алерта. Ранний сигнал: в инциденте 07.08 занятость росла постепенно по мере входа участников в комнату, а не рывком от общей HTTP-нагрузки.",
|
||||||
|
"type": "timeseries",
|
||||||
|
"gridPos": { "h": 8, "w": 12, "x": 0, "y": 4 },
|
||||||
|
"datasource": { "type": "prometheus", "uid": "prometheus" },
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": { "custom": { "drawStyle": "line", "fillOpacity": 10 } },
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{ "datasource": { "type": "prometheus", "uid": "prometheus" }, "expr": "vidconf_db_pool_checked_out", "legendFormat": "занято", "refId": "A" },
|
||||||
|
{ "datasource": { "type": "prometheus", "uid": "prometheus" }, "expr": "vidconf_db_pool_size + vidconf_db_pool_max_overflow", "legendFormat": "вместимость (size+overflow)", "refId": "B" }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 6,
|
||||||
|
"title": "Занятость пула Redis (соединений)",
|
||||||
|
"description": "vidconf_redis_pool_in_use на фоне vidconf_redis_pool_max_connections. Второй потолок того же класса, что у БД (закрыт в 0.0.31, redis-py 8 сменил дефолт max_connections на 100).",
|
||||||
|
"type": "timeseries",
|
||||||
|
"gridPos": { "h": 8, "w": 12, "x": 12, "y": 4 },
|
||||||
|
"datasource": { "type": "prometheus", "uid": "prometheus" },
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": { "custom": { "drawStyle": "line", "fillOpacity": 10 } },
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{ "datasource": { "type": "prometheus", "uid": "prometheus" }, "expr": "vidconf_redis_pool_in_use", "legendFormat": "занято", "refId": "A" },
|
||||||
|
{ "datasource": { "type": "prometheus", "uid": "prometheus" }, "expr": "vidconf_redis_pool_max_connections", "legendFormat": "вместимость", "refId": "B" }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 7,
|
||||||
|
"title": "БД доступна во времени",
|
||||||
|
"description": "vidconf_db_up как временной ряд — удобно видеть провал целиком (начало/длительность отказа), не только текущее состояние.",
|
||||||
|
"type": "timeseries",
|
||||||
|
"gridPos": { "h": 6, "w": 12, "x": 0, "y": 12 },
|
||||||
|
"datasource": { "type": "prometheus", "uid": "prometheus" },
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"min": 0,
|
||||||
|
"max": 1,
|
||||||
|
"custom": { "drawStyle": "line", "fillOpacity": 20, "lineInterpolation": "stepAfter" },
|
||||||
|
"mappings": [
|
||||||
|
{ "type": "value", "options": { "0": { "text": "DOWN" }, "1": { "text": "UP" } } }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{ "datasource": { "type": "prometheus", "uid": "prometheus" }, "expr": "vidconf_db_up", "legendFormat": "db_up", "refId": "A" }
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"id": 8,
|
||||||
|
"title": "Сеансы failed / очереди Celery (для сверки с общей нагрузкой)",
|
||||||
|
"description": "Тот же контекст, что на дашборде «Пайплайны пост-обработки» — здесь рядом с пулами, чтобы не переключаться между дашбордами при разборе инцидента.",
|
||||||
|
"type": "timeseries",
|
||||||
|
"gridPos": { "h": 6, "w": 12, "x": 12, "y": 12 },
|
||||||
|
"datasource": { "type": "prometheus", "uid": "prometheus" },
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": { "custom": { "drawStyle": "line", "fillOpacity": 5 } },
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{ "datasource": { "type": "prometheus", "uid": "prometheus" }, "expr": "vidconf_pipeline_sessions{status=\"failed\"}", "legendFormat": "сеансов failed", "refId": "A" },
|
||||||
|
{ "datasource": { "type": "prometheus", "uid": "prometheus" }, "expr": "sum(vidconf_celery_queue_depth)", "legendFormat": "глубина очередей (сумма)", "refId": "B" }
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
@@ -4,7 +4,8 @@
|
|||||||
# сервис `prometheus`).
|
# сервис `prometheus`).
|
||||||
#
|
#
|
||||||
# Имена метрик backend (`vidconf_http_request_duration_seconds`,
|
# Имена метрик backend (`vidconf_http_request_duration_seconds`,
|
||||||
# `vidconf_pipeline_sessions`, `vidconf_celery_queue_depth`) — КОНТРАКТ с
|
# `vidconf_pipeline_sessions`, `vidconf_celery_queue_depth`, `vidconf_db_up`,
|
||||||
|
# `vidconf_db_pool_*`, `vidconf_redis_pool_*`) — КОНТРАКТ с
|
||||||
# `backend/api/metrics.py`; правила в `alerts.yml` используют их буквально —
|
# `backend/api/metrics.py`; правила в `alerts.yml` используют их буквально —
|
||||||
# при переименовании метрик в backend поправить оба файла одновременно.
|
# при переименовании метрик в backend поправить оба файла одновременно.
|
||||||
global:
|
global:
|
||||||
|
|||||||
@@ -2,6 +2,7 @@ import { Navigate, Route, Routes } from 'react-router-dom'
|
|||||||
import { LoginPage } from '@/pages/LoginPage'
|
import { LoginPage } from '@/pages/LoginPage'
|
||||||
import { RegisterPage } from '@/pages/RegisterPage'
|
import { RegisterPage } from '@/pages/RegisterPage'
|
||||||
import { VerifyEmailPage } from '@/pages/VerifyEmailPage'
|
import { VerifyEmailPage } from '@/pages/VerifyEmailPage'
|
||||||
|
import { ConsentPolicyPage } from '@/pages/ConsentPolicyPage'
|
||||||
import { LobbyPage } from '@/pages/LobbyPage'
|
import { LobbyPage } from '@/pages/LobbyPage'
|
||||||
import { JoinPage } from '@/pages/JoinPage'
|
import { JoinPage } from '@/pages/JoinPage'
|
||||||
import { RoomPage } from '@/pages/RoomPage'
|
import { RoomPage } from '@/pages/RoomPage'
|
||||||
@@ -19,6 +20,10 @@ function App() {
|
|||||||
<Route path="/login" element={<LoginPage />} />
|
<Route path="/login" element={<LoginPage />} />
|
||||||
<Route path="/register" element={<RegisterPage />} />
|
<Route path="/register" element={<RegisterPage />} />
|
||||||
<Route path="/verify-email" element={<VerifyEmailPage />} />
|
<Route path="/verify-email" element={<VerifyEmailPage />} />
|
||||||
|
{/* Публичная страница регламента обработки ПДн — читается до регистрации,
|
||||||
|
когда пользователя ещё нет; ссылка на неё — рядом с галочкой согласия
|
||||||
|
на RegisterPage. */}
|
||||||
|
<Route path="/legal/personal-data-consent" element={<ConsentPolicyPage />} />
|
||||||
<Route
|
<Route
|
||||||
path="/lobby"
|
path="/lobby"
|
||||||
element={
|
element={
|
||||||
|
|||||||
@@ -45,6 +45,12 @@ export interface SettingsOut {
|
|||||||
publish_quality_cap: PublishQualityCap
|
publish_quality_cap: PublishQualityCap
|
||||||
/** Максимум одновременно видимых плиток сцены (`StageGrid`). */
|
/** Максимум одновременно видимых плиток сцены (`StageGrid`). */
|
||||||
stage_max_tiles: number
|
stage_max_tiles: number
|
||||||
|
/** Обязательна ли галочка согласия на обработку персональных данных при регистрации. */
|
||||||
|
consent_required: boolean
|
||||||
|
/** Текст регламента (редактируемый шаблон, дефолт — типовой образец без юридической силы). */
|
||||||
|
consent_policy_text: string
|
||||||
|
/** Номер редакции текста — растёт при каждом изменении `consent_policy_text`. */
|
||||||
|
consent_policy_version: number
|
||||||
}
|
}
|
||||||
|
|
||||||
/** Тело частичного обновления настроек инстанса — все поля опциональны. */
|
/** Тело частичного обновления настроек инстанса — все поля опциональны. */
|
||||||
@@ -65,6 +71,9 @@ export interface SettingsUpdateIn {
|
|||||||
contact_email?: string | null
|
contact_email?: string | null
|
||||||
publish_quality_cap?: PublishQualityCap
|
publish_quality_cap?: PublishQualityCap
|
||||||
stage_max_tiles?: number
|
stage_max_tiles?: number
|
||||||
|
/** Включение с пустым текстом регламента — backend отвечает 400. */
|
||||||
|
consent_required?: boolean
|
||||||
|
consent_policy_text?: string
|
||||||
}
|
}
|
||||||
|
|
||||||
/** Тело запроса тестовой отправки письма (`POST /admin/settings/test-email`). */
|
/** Тело запроса тестовой отправки письма (`POST /admin/settings/test-email`). */
|
||||||
|
|||||||
@@ -9,6 +9,8 @@ export interface RegisterPayload {
|
|||||||
password: string
|
password: string
|
||||||
/** Выбранная команда — только если выбор команды включён в настройках инстанса. */
|
/** Выбранная команда — только если выбор команды включён в настройках инстанса. */
|
||||||
team_id?: string | null
|
team_id?: string | null
|
||||||
|
/** Согласие на обработку персональных данных — обязано быть `true`, если `consent_required`. */
|
||||||
|
consent_accepted?: boolean
|
||||||
}
|
}
|
||||||
|
|
||||||
/** Команда, доступная для выбора на экране регистрации. */
|
/** Команда, доступная для выбора на экране регистрации. */
|
||||||
@@ -23,6 +25,12 @@ export interface RegistrationOptions {
|
|||||||
teams: RegistrationTeamOption[]
|
teams: RegistrationTeamOption[]
|
||||||
/** Эталонные домены почты при включённой верификации (email подходит под любой), иначе пуст. */
|
/** Эталонные домены почты при включённой верификации (email подходит под любой), иначе пуст. */
|
||||||
email_domains: string[]
|
email_domains: string[]
|
||||||
|
/** Обязательна ли галочка согласия на обработку персональных данных на форме регистрации. */
|
||||||
|
consent_required: boolean
|
||||||
|
/** Текст регламента — отдаётся всегда, независимо от `consent_required` (нужен и странице регламента). */
|
||||||
|
consent_text: string
|
||||||
|
/** Номер редакции текста, с которой согласится пользователь при регистрации. */
|
||||||
|
consent_version: number
|
||||||
}
|
}
|
||||||
|
|
||||||
export interface CurrentUser {
|
export interface CurrentUser {
|
||||||
|
|||||||
@@ -4,8 +4,15 @@
|
|||||||
* - Access-токен подставляется из authStore (память, не localStorage).
|
* - Access-токен подставляется из authStore (память, не localStorage).
|
||||||
* - На 401 выполняется один silent-refresh (POST /auth/refresh,
|
* - На 401 выполняется один silent-refresh (POST /auth/refresh,
|
||||||
* credentials: 'include' — сессия читается из httpOnly-cookie) и повтор
|
* credentials: 'include' — сессия читается из httpOnly-cookie) и повтор
|
||||||
* исходного запроса. Если refresh не удался — access-токен сбрасывается и
|
* исходного запроса.
|
||||||
* выполняется редирект на /login.
|
* - ⚠️ Причина неудачи refresh различается (`RefreshOutcome`). Сессия
|
||||||
|
* сбрасывается ТОЛЬКО когда backend сказал, что она недействительна
|
||||||
|
* (`invalid`). Ответ 5xx или обрыв сети — это «серверу плохо», а не «вы не
|
||||||
|
* авторизованы»: токен сохраняется, пользователь остаётся в системе и
|
||||||
|
* получает обычную ошибку запроса. Раньше различия не было, и на
|
||||||
|
* нагрузочном тесте 07.08.2026 (когда refresh отвечал 500 из-за
|
||||||
|
* исчерпанного пула БД) фронтенд разлогинивал людей посреди работы, а
|
||||||
|
* повторный вход падал тем же 500.
|
||||||
* - Параллельные 401 схлопываются в один refresh-запрос (refreshPromise).
|
* - Параллельные 401 схлопываются в один refresh-запрос (refreshPromise).
|
||||||
*/
|
*/
|
||||||
import { authStore } from '@/auth/authStore'
|
import { authStore } from '@/auth/authStore'
|
||||||
@@ -44,26 +51,48 @@ interface RequestOptions extends Omit<RequestInit, 'body'> {
|
|||||||
skipAuthRefresh?: boolean
|
skipAuthRefresh?: boolean
|
||||||
}
|
}
|
||||||
|
|
||||||
let refreshPromise: Promise<boolean> | null = null
|
/**
|
||||||
|
* Итог silent-refresh.
|
||||||
|
*
|
||||||
|
* - `ok` — выдан новый access-токен;
|
||||||
|
* - `invalid` — backend отверг refresh-сессию (просрочена, отозвана, reuse):
|
||||||
|
* единственный случай, когда пользователя правда надо разлогинить;
|
||||||
|
* - `unavailable` — до ответа «сессия недействительна» дело не дошло: 5xx,
|
||||||
|
* таймаут или обрыв сети. Сессия при этом цела, `status` — HTTP-код
|
||||||
|
* ответа или `null`, если запрос не доехал вовсе.
|
||||||
|
*/
|
||||||
|
export type RefreshOutcome =
|
||||||
|
| { result: 'ok' }
|
||||||
|
| { result: 'invalid' }
|
||||||
|
| { result: 'unavailable'; status: number | null }
|
||||||
|
|
||||||
|
let refreshPromise: Promise<RefreshOutcome> | null = null
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Выполняет silent-refresh access-токена через httpOnly refresh-cookie.
|
* Выполняет silent-refresh access-токена через httpOnly refresh-cookie.
|
||||||
* Возвращает true при успехе. Параллельные вызовы переиспользуют один запрос.
|
* Параллельные вызовы переиспользуют один запрос.
|
||||||
*/
|
*/
|
||||||
export async function refreshAccessToken(): Promise<boolean> {
|
export async function refreshAccessToken(): Promise<RefreshOutcome> {
|
||||||
if (!refreshPromise) {
|
if (!refreshPromise) {
|
||||||
refreshPromise = (async () => {
|
refreshPromise = (async (): Promise<RefreshOutcome> => {
|
||||||
try {
|
try {
|
||||||
const response = await fetch(`${API_BASE}/auth/refresh`, {
|
const response = await fetch(`${API_BASE}/auth/refresh`, {
|
||||||
method: 'POST',
|
method: 'POST',
|
||||||
credentials: 'include',
|
credentials: 'include',
|
||||||
})
|
})
|
||||||
if (!response.ok) return false
|
if (response.ok) {
|
||||||
const data = (await response.json()) as { access_token: string }
|
const data = (await response.json()) as { access_token: string }
|
||||||
authStore.setAccessToken(data.access_token)
|
authStore.setAccessToken(data.access_token)
|
||||||
return true
|
return { result: 'ok' }
|
||||||
|
}
|
||||||
|
// Про недействительность сессии backend говорит только кодом 4xx.
|
||||||
|
// Всё остальное (500/502/503/504) — состояние сервера, а не сессии.
|
||||||
|
return response.status >= 500
|
||||||
|
? { result: 'unavailable', status: response.status }
|
||||||
|
: { result: 'invalid' }
|
||||||
} catch {
|
} catch {
|
||||||
return false
|
// Сеть не доехала — про сессию мы так ничего и не узнали.
|
||||||
|
return { result: 'unavailable', status: null }
|
||||||
} finally {
|
} finally {
|
||||||
refreshPromise = null
|
refreshPromise = null
|
||||||
}
|
}
|
||||||
@@ -124,9 +153,17 @@ export async function apiRequest<T = unknown>(path: string, options: RequestOpti
|
|||||||
let response = await doFetch()
|
let response = await doFetch()
|
||||||
|
|
||||||
if (response.status === 401 && !skipAuthRefresh) {
|
if (response.status === 401 && !skipAuthRefresh) {
|
||||||
const refreshed = await refreshAccessToken()
|
const outcome = await refreshAccessToken()
|
||||||
if (refreshed) {
|
if (outcome.result === 'ok') {
|
||||||
response = await doFetch()
|
response = await doFetch()
|
||||||
|
} else if (outcome.result === 'unavailable') {
|
||||||
|
// Серверу плохо — сессию не трогаем и на /login не выкидываем:
|
||||||
|
// как только backend оживёт, следующий запрос обновит токен сам.
|
||||||
|
throw new ApiError(
|
||||||
|
outcome.status ?? 0,
|
||||||
|
null,
|
||||||
|
'Сервер временно недоступен. Попробуйте ещё раз через минуту.',
|
||||||
|
)
|
||||||
} else {
|
} else {
|
||||||
redirectToLogin()
|
redirectToLogin()
|
||||||
throw new ApiError(401, null, 'Сессия истекла')
|
throw new ApiError(401, null, 'Сессия истекла')
|
||||||
|
|||||||
@@ -4,6 +4,20 @@ import { authStore } from '@/auth/authStore'
|
|||||||
import { refreshAccessToken } from '@/api/client'
|
import { refreshAccessToken } from '@/api/client'
|
||||||
import { AuthContext, type AuthContextValue, type AuthStatus } from '@/auth/authContext'
|
import { AuthContext, type AuthContextValue, type AuthStatus } from '@/auth/authContext'
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Задержки повторов восстановления сессии, если backend отвечает 5xx.
|
||||||
|
*
|
||||||
|
* Недоступность сервера — не повод объявлять пользователя неавторизованным:
|
||||||
|
* refresh-cookie цела, и через несколько секунд сессия обычно поднимается
|
||||||
|
* сама. Повторов ровно три (суммарно ~7 с) — дальше показываем страницу
|
||||||
|
* входа, потому что бесконечный спиннер хуже честного «войдите заново»:
|
||||||
|
* cookie при этом не стирается, и повторная попытка входа сработает, как
|
||||||
|
* только backend оживёт.
|
||||||
|
*/
|
||||||
|
const BOOTSTRAP_RETRY_DELAYS_MS = [1000, 2000, 4000]
|
||||||
|
|
||||||
|
const sleep = (ms: number) => new Promise((resolve) => setTimeout(resolve, ms))
|
||||||
|
|
||||||
/**
|
/**
|
||||||
* Провайдер сессии пользователя.
|
* Провайдер сессии пользователя.
|
||||||
* При монтировании приложения пытается восстановить сессию через
|
* При монтировании приложения пытается восстановить сессию через
|
||||||
@@ -18,9 +32,15 @@ export function AuthProvider({ children }: { children: ReactNode }) {
|
|||||||
let cancelled = false
|
let cancelled = false
|
||||||
|
|
||||||
async function bootstrap() {
|
async function bootstrap() {
|
||||||
const restored = await refreshAccessToken()
|
let outcome = await refreshAccessToken()
|
||||||
|
for (const delay of BOOTSTRAP_RETRY_DELAYS_MS) {
|
||||||
|
if (cancelled || outcome.result !== 'unavailable') break
|
||||||
|
await sleep(delay)
|
||||||
|
if (cancelled) return
|
||||||
|
outcome = await refreshAccessToken()
|
||||||
|
}
|
||||||
if (cancelled) return
|
if (cancelled) return
|
||||||
if (!restored) {
|
if (outcome.result !== 'ok') {
|
||||||
setStatus('unauthenticated')
|
setStatus('unauthenticated')
|
||||||
return
|
return
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -81,6 +81,8 @@ function AdminSettingsForm({ data }: { data: SettingsOut }) {
|
|||||||
const [contactEmail, setContactEmail] = useState(data.contact_email ?? '')
|
const [contactEmail, setContactEmail] = useState(data.contact_email ?? '')
|
||||||
const [publishQualityCap, setPublishQualityCap] = useState<PublishQualityCap>(data.publish_quality_cap)
|
const [publishQualityCap, setPublishQualityCap] = useState<PublishQualityCap>(data.publish_quality_cap)
|
||||||
const [stageMaxTiles, setStageMaxTiles] = useState(data.stage_max_tiles)
|
const [stageMaxTiles, setStageMaxTiles] = useState(data.stage_max_tiles)
|
||||||
|
const [consentRequired, setConsentRequired] = useState(data.consent_required)
|
||||||
|
const [consentPolicyText, setConsentPolicyText] = useState(data.consent_policy_text)
|
||||||
const [testEmailTo, setTestEmailTo] = useState('')
|
const [testEmailTo, setTestEmailTo] = useState('')
|
||||||
const [testEmailResult, setTestEmailResult] = useState<TestEmailOut | null>(null)
|
const [testEmailResult, setTestEmailResult] = useState<TestEmailOut | null>(null)
|
||||||
|
|
||||||
@@ -92,7 +94,11 @@ function AdminSettingsForm({ data }: { data: SettingsOut }) {
|
|||||||
},
|
},
|
||||||
onError: (err: unknown) => {
|
onError: (err: unknown) => {
|
||||||
if (err instanceof ApiError && err.status === 400) {
|
if (err instanceof ApiError && err.status === 400) {
|
||||||
toast.show(errorDetail(err) ?? 'Недоступное значение — проверьте уровень AI, таймзону и домен почты', 'error')
|
toast.show(
|
||||||
|
errorDetail(err) ??
|
||||||
|
'Недоступное значение — проверьте уровень AI, таймзону, домен почты и текст регламента',
|
||||||
|
'error',
|
||||||
|
)
|
||||||
} else {
|
} else {
|
||||||
toast.show('Не удалось сохранить настройки', 'error')
|
toast.show('Не удалось сохранить настройки', 'error')
|
||||||
}
|
}
|
||||||
@@ -156,6 +162,8 @@ function AdminSettingsForm({ data }: { data: SettingsOut }) {
|
|||||||
}
|
}
|
||||||
if (publishQualityCap !== data.publish_quality_cap) payload.publish_quality_cap = publishQualityCap
|
if (publishQualityCap !== data.publish_quality_cap) payload.publish_quality_cap = publishQualityCap
|
||||||
if (stageMaxTiles !== data.stage_max_tiles) payload.stage_max_tiles = stageMaxTiles
|
if (stageMaxTiles !== data.stage_max_tiles) payload.stage_max_tiles = stageMaxTiles
|
||||||
|
if (consentRequired !== data.consent_required) payload.consent_required = consentRequired
|
||||||
|
if (consentPolicyText !== data.consent_policy_text) payload.consent_policy_text = consentPolicyText
|
||||||
mutation.mutate(payload)
|
mutation.mutate(payload)
|
||||||
}
|
}
|
||||||
|
|
||||||
@@ -478,6 +486,55 @@ function AdminSettingsForm({ data }: { data: SettingsOut }) {
|
|||||||
</div>
|
</div>
|
||||||
</section>
|
</section>
|
||||||
|
|
||||||
|
<section className="settings-card">
|
||||||
|
<h2>Согласие на обработку персональных данных</h2>
|
||||||
|
<p className="desc">
|
||||||
|
Галочка на форме регистрации со ссылкой на регламент (страница{' '}
|
||||||
|
<code>/legal/personal-data-consent</code>). Факт согласия хранится в БД вместе с
|
||||||
|
номером редакции текста и датой.
|
||||||
|
</p>
|
||||||
|
|
||||||
|
<div className="settings-card-body">
|
||||||
|
<div className="toggle-row" style={{ borderTop: 'none', paddingTop: 0 }}>
|
||||||
|
<div className="toggle-copy">
|
||||||
|
<strong>Требовать согласие при регистрации</strong>
|
||||||
|
<span>Без отмеченной галочки кнопка регистрации неактивна, сервер тоже откажет</span>
|
||||||
|
</div>
|
||||||
|
<label className="switch">
|
||||||
|
<input
|
||||||
|
type="checkbox"
|
||||||
|
checked={consentRequired}
|
||||||
|
onChange={(e) => setConsentRequired(e.target.checked)}
|
||||||
|
/>
|
||||||
|
<span className="slider" />
|
||||||
|
</label>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div className="field" style={{ marginBottom: 0, marginTop: 'var(--space-4)' }}>
|
||||||
|
<label htmlFor="settings-consent-text">
|
||||||
|
Текст регламента — редакция №{data.consent_policy_version}
|
||||||
|
</label>
|
||||||
|
<p className="field-hint" style={{ color: 'var(--color-danger)' }}>
|
||||||
|
<AlertTriangle style={{ width: 13, height: 13 }} aria-hidden="true" /> Дефолтный
|
||||||
|
текст — типовой образец, не проходил проверку юриста. Замените плейсхолдеры в
|
||||||
|
квадратных скобках (наименование оператора, адрес, контакты, цели и срок
|
||||||
|
обработки) под свою организацию, прежде чем включать требование согласия.
|
||||||
|
</p>
|
||||||
|
<textarea
|
||||||
|
id="settings-consent-text"
|
||||||
|
rows={12}
|
||||||
|
value={consentPolicyText}
|
||||||
|
onChange={(e) => setConsentPolicyText(e.target.value)}
|
||||||
|
style={{ width: '100%', fontFamily: 'inherit', resize: 'vertical' }}
|
||||||
|
/>
|
||||||
|
<p className="field-hint">
|
||||||
|
Сохранение изменённого текста автоматически увеличивает номер редакции — это
|
||||||
|
значение фиксируется у каждого пользователя вместе с датой согласия.
|
||||||
|
</p>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
</section>
|
||||||
|
|
||||||
<section className="settings-card">
|
<section className="settings-card">
|
||||||
<h2>Тестовое письмо</h2>
|
<h2>Тестовое письмо</h2>
|
||||||
<p className="desc">Отправить проверочное письмо синхронно, чтобы сразу увидеть результат почтовой конфигурации.</p>
|
<p className="desc">Отправить проверочное письмо синхронно, чтобы сразу увидеть результат почтовой конфигурации.</p>
|
||||||
|
|||||||
61
frontend/src/pages/ConsentPolicyPage.tsx
Normal file
61
frontend/src/pages/ConsentPolicyPage.tsx
Normal file
@@ -0,0 +1,61 @@
|
|||||||
|
import { Link } from 'react-router-dom'
|
||||||
|
import { useQuery } from '@tanstack/react-query'
|
||||||
|
import { getRegistrationOptions } from '@/api/auth'
|
||||||
|
import { AppFooter } from '@/components/layout/AppFooter'
|
||||||
|
import { LogoMark } from '@/components/ui/LogoMark'
|
||||||
|
import { ThemeToggle } from '@/components/ui/ThemeToggle'
|
||||||
|
import '@/styles/legal.css'
|
||||||
|
|
||||||
|
/**
|
||||||
|
* Публичная страница регламента обработки персональных данных
|
||||||
|
* (`/legal/personal-data-consent`) — ссылка рядом с галочкой согласия на
|
||||||
|
* форме регистрации (`RegisterPage`). Текст и номер редакции берутся из
|
||||||
|
* того же публичного `GET /auth/registration-options`, которым пользуется
|
||||||
|
* форма регистрации — отдельного эндпоинта под это специально не заводили.
|
||||||
|
*
|
||||||
|
* Страница доступна ВСЕГДА, независимо от `consent_required`: если модуль
|
||||||
|
* выключен, регламент просто не обязателен для регистрации, но ссылка на
|
||||||
|
* него не должна вести в никуда — администратор мог оставить текст
|
||||||
|
* заполненным про запас или для внешней ссылки.
|
||||||
|
*/
|
||||||
|
export function ConsentPolicyPage() {
|
||||||
|
const { data, isLoading } = useQuery({
|
||||||
|
queryKey: ['auth', 'registration-options'],
|
||||||
|
queryFn: getRegistrationOptions,
|
||||||
|
})
|
||||||
|
|
||||||
|
return (
|
||||||
|
<div className="legal-shell">
|
||||||
|
<header className="legal-topbar">
|
||||||
|
<Link to="/lobby" className="brand-mark">
|
||||||
|
<LogoMark /> VidConf
|
||||||
|
</Link>
|
||||||
|
<ThemeToggle />
|
||||||
|
</header>
|
||||||
|
|
||||||
|
<main className="legal-main">
|
||||||
|
<article className="legal-card">
|
||||||
|
<h1>Регламент обработки персональных данных</h1>
|
||||||
|
|
||||||
|
{isLoading && <p className="legal-empty">Загрузка…</p>}
|
||||||
|
|
||||||
|
{!isLoading && data && data.consent_text.trim() && (
|
||||||
|
<>
|
||||||
|
<span className="legal-version">Редакция №{data.consent_version}</span>
|
||||||
|
<div className="legal-text">{data.consent_text}</div>
|
||||||
|
</>
|
||||||
|
)}
|
||||||
|
|
||||||
|
{!isLoading && data && !data.consent_text.trim() && (
|
||||||
|
<p className="legal-empty">
|
||||||
|
Регламент обработки персональных данных для этого инстанса ещё не заполнен
|
||||||
|
администратором.
|
||||||
|
</p>
|
||||||
|
)}
|
||||||
|
</article>
|
||||||
|
</main>
|
||||||
|
|
||||||
|
<AppFooter />
|
||||||
|
</div>
|
||||||
|
)
|
||||||
|
}
|
||||||
@@ -6,6 +6,8 @@ import { AuthLayout } from '@/components/auth/AuthLayout'
|
|||||||
import { getRegistrationOptions, register } from '@/api/auth'
|
import { getRegistrationOptions, register } from '@/api/auth'
|
||||||
import { ApiError, errorDetail } from '@/api/client'
|
import { ApiError, errorDetail } from '@/api/client'
|
||||||
|
|
||||||
|
const CONSENT_POLICY_PATH = '/legal/personal-data-consent'
|
||||||
|
|
||||||
/** Текст предупреждения о несовпадении домена почты с эталонными. */
|
/** Текст предупреждения о несовпадении домена почты с эталонными. */
|
||||||
function domainMismatchMessage(domains: string[]): string {
|
function domainMismatchMessage(domains: string[]): string {
|
||||||
const list = domains.map((domain) => `@${domain}`).join(' или ')
|
const list = domains.map((domain) => `@${domain}`).join(' или ')
|
||||||
@@ -23,12 +25,19 @@ function domainMismatchMessage(domains: string[]): string {
|
|||||||
* 400 `invalid_email_domain`.
|
* 400 `invalid_email_domain`.
|
||||||
* После успешной регистрации показывает состояние «подтвердите почту»
|
* После успешной регистрации показывает состояние «подтвердите почту»
|
||||||
* (письмо со ссылкой backend в dev-режиме печатает в консоль).
|
* (письмо со ссылкой backend в dev-режиме печатает в консоль).
|
||||||
|
* Галочка согласия на обработку персональных данных (`consent_required`)
|
||||||
|
* показывается только при включённой настройке инстанса; ссылка рядом
|
||||||
|
* ведёт на публичную страницу регламента (`ConsentPolicyPage`), которая
|
||||||
|
* берёт тот же текст/версию из `registration-options`. Кнопка отправки
|
||||||
|
* заблокирована, пока галочка не отмечена, — сервер отдельно перепроверяет
|
||||||
|
* это же условие (`POST /auth/register` отвечает 400 `consent_required`).
|
||||||
*/
|
*/
|
||||||
export function RegisterPage() {
|
export function RegisterPage() {
|
||||||
const [name, setName] = useState('')
|
const [name, setName] = useState('')
|
||||||
const [email, setEmail] = useState('')
|
const [email, setEmail] = useState('')
|
||||||
const [password, setPassword] = useState('')
|
const [password, setPassword] = useState('')
|
||||||
const [teamId, setTeamId] = useState('')
|
const [teamId, setTeamId] = useState('')
|
||||||
|
const [consentAccepted, setConsentAccepted] = useState(false)
|
||||||
const [error, setError] = useState<string | null>(null)
|
const [error, setError] = useState<string | null>(null)
|
||||||
const [emailDomainError, setEmailDomainError] = useState<string | null>(null)
|
const [emailDomainError, setEmailDomainError] = useState<string | null>(null)
|
||||||
const [pending, setPending] = useState(false)
|
const [pending, setPending] = useState(false)
|
||||||
@@ -41,6 +50,7 @@ export function RegisterPage() {
|
|||||||
const teamChoiceEnabled = registrationOptions?.team_choice_enabled ?? false
|
const teamChoiceEnabled = registrationOptions?.team_choice_enabled ?? false
|
||||||
const teams = registrationOptions?.teams ?? []
|
const teams = registrationOptions?.teams ?? []
|
||||||
const expectedEmailDomains = registrationOptions?.email_domains ?? []
|
const expectedEmailDomains = registrationOptions?.email_domains ?? []
|
||||||
|
const consentRequired = registrationOptions?.consent_required ?? false
|
||||||
|
|
||||||
/** Домен после «@» не совпадает (без учёта регистра) ни с одним эталонным — `null`, если сверять не с чем. */
|
/** Домен после «@» не совпадает (без учёта регистра) ни с одним эталонным — `null`, если сверять не с чем. */
|
||||||
function checkEmailDomain(value: string): string | null {
|
function checkEmailDomain(value: string): string | null {
|
||||||
@@ -61,16 +71,25 @@ export function RegisterPage() {
|
|||||||
const domainError = checkEmailDomain(email)
|
const domainError = checkEmailDomain(email)
|
||||||
setEmailDomainError(domainError)
|
setEmailDomainError(domainError)
|
||||||
if (domainError) return
|
if (domainError) return
|
||||||
|
if (consentRequired && !consentAccepted) return
|
||||||
|
|
||||||
setPending(true)
|
setPending(true)
|
||||||
try {
|
try {
|
||||||
await register({ email, name_user: name, password, team_id: teamChoiceEnabled ? teamId || null : null })
|
await register({
|
||||||
|
email,
|
||||||
|
name_user: name,
|
||||||
|
password,
|
||||||
|
team_id: teamChoiceEnabled ? teamId || null : null,
|
||||||
|
consent_accepted: consentAccepted,
|
||||||
|
})
|
||||||
setRegisteredEmail(email)
|
setRegisteredEmail(email)
|
||||||
} catch (err) {
|
} catch (err) {
|
||||||
if (err instanceof ApiError && err.status === 409) {
|
if (err instanceof ApiError && err.status === 409) {
|
||||||
setError('Пользователь с таким email уже зарегистрирован')
|
setError('Пользователь с таким email уже зарегистрирован')
|
||||||
} else if (err instanceof ApiError && err.status === 400 && errorDetail(err) === 'invalid_email_domain') {
|
} else if (err instanceof ApiError && err.status === 400 && errorDetail(err) === 'invalid_email_domain') {
|
||||||
setEmailDomainError(expectedEmailDomains.length > 0 ? domainMismatchMessage(expectedEmailDomains) : 'Регистрация с этим доменом почты недоступна')
|
setEmailDomainError(expectedEmailDomains.length > 0 ? domainMismatchMessage(expectedEmailDomains) : 'Регистрация с этим доменом почты недоступна')
|
||||||
|
} else if (err instanceof ApiError && err.status === 400 && errorDetail(err) === 'consent_required') {
|
||||||
|
setError('Отметьте согласие на обработку персональных данных')
|
||||||
} else {
|
} else {
|
||||||
setError('Не удалось зарегистрироваться. Проверьте данные и попробуйте снова')
|
setError('Не удалось зарегистрироваться. Проверьте данные и попробуйте снова')
|
||||||
}
|
}
|
||||||
@@ -185,7 +204,29 @@ export function RegisterPage() {
|
|||||||
<p className="hint-msg">Минимум 8 символов, буквы и цифры</p>
|
<p className="hint-msg">Минимум 8 символов, буквы и цифры</p>
|
||||||
)}
|
)}
|
||||||
</div>
|
</div>
|
||||||
<button type="submit" className="btn btn-primary btn-block btn-lg" disabled={pending}>
|
{consentRequired && (
|
||||||
|
<label className="checkbox-row" style={{ marginBottom: 'var(--space-4)' }}>
|
||||||
|
<input
|
||||||
|
type="checkbox"
|
||||||
|
checked={consentAccepted}
|
||||||
|
onChange={(e) => setConsentAccepted(e.target.checked)}
|
||||||
|
/>
|
||||||
|
Согласен(на) на{' '}
|
||||||
|
<Link
|
||||||
|
to={CONSENT_POLICY_PATH}
|
||||||
|
target="_blank"
|
||||||
|
rel="noopener"
|
||||||
|
style={{ fontWeight: 700, textDecoration: 'underline' }}
|
||||||
|
>
|
||||||
|
обработку персональных данных
|
||||||
|
</Link>
|
||||||
|
</label>
|
||||||
|
)}
|
||||||
|
<button
|
||||||
|
type="submit"
|
||||||
|
className="btn btn-primary btn-block btn-lg"
|
||||||
|
disabled={pending || (consentRequired && !consentAccepted)}
|
||||||
|
>
|
||||||
{pending ? 'Регистрируем…' : 'Зарегистрироваться'}
|
{pending ? 'Регистрируем…' : 'Зарегистрироваться'}
|
||||||
</button>
|
</button>
|
||||||
</form>
|
</form>
|
||||||
|
|||||||
48
frontend/src/styles/legal.css
Normal file
48
frontend/src/styles/legal.css
Normal file
@@ -0,0 +1,48 @@
|
|||||||
|
/*
|
||||||
|
* VidConf — стили публичной страницы регламента обработки персональных данных.
|
||||||
|
* Топбар/оболочка — по образцу `.join-shell`/`.join-topbar` (join.css):
|
||||||
|
* страница публичная (открывается до регистрации, без сессии), поэтому не
|
||||||
|
* использует `.page-shell`/`ShellTopbar`. Карточка шире, чем `.flow-card`
|
||||||
|
* (440px рассчитан на форму, не на читаемый текст документа).
|
||||||
|
*/
|
||||||
|
|
||||||
|
.legal-shell { min-height: 100vh; display: flex; flex-direction: column; background: var(--color-bg); }
|
||||||
|
|
||||||
|
.legal-topbar { display: flex; align-items: center; justify-content: space-between; padding: var(--space-5) var(--space-8); }
|
||||||
|
|
||||||
|
.legal-main {
|
||||||
|
flex: 1;
|
||||||
|
display: flex;
|
||||||
|
justify-content: center;
|
||||||
|
padding: var(--space-6) var(--space-8) var(--space-16);
|
||||||
|
}
|
||||||
|
|
||||||
|
.legal-card {
|
||||||
|
width: 100%;
|
||||||
|
max-width: 760px;
|
||||||
|
background: var(--color-surface);
|
||||||
|
border: 1px solid var(--color-border);
|
||||||
|
border-radius: var(--radius-2xl);
|
||||||
|
padding: var(--space-8);
|
||||||
|
}
|
||||||
|
|
||||||
|
.legal-card h1 { font: var(--text-h1); color: var(--color-ink-900); margin: 0 0 var(--space-2); }
|
||||||
|
|
||||||
|
.legal-version {
|
||||||
|
display: inline-block;
|
||||||
|
font: var(--text-mono-sm);
|
||||||
|
color: var(--color-ink-500);
|
||||||
|
background: var(--color-bg-alt);
|
||||||
|
border-radius: var(--radius-full);
|
||||||
|
padding: 2px 12px;
|
||||||
|
margin-bottom: var(--space-6);
|
||||||
|
}
|
||||||
|
|
||||||
|
.legal-text {
|
||||||
|
font: var(--text-body);
|
||||||
|
color: var(--color-ink-700);
|
||||||
|
white-space: pre-wrap;
|
||||||
|
line-height: 1.6;
|
||||||
|
}
|
||||||
|
|
||||||
|
.legal-empty { font: var(--text-body); color: var(--color-ink-500); }
|
||||||
Reference in New Issue
Block a user