Первоначальная версия VidConf
This commit is contained in:
21
workers/summarizer/eval/results/min/01-short-standup.md
Normal file
21
workers/summarizer/eval/results/min/01-short-standup.md
Normal file
@@ -0,0 +1,21 @@
|
||||
<!-- уровень: min | модель: qwen3.5-4b-instruct-q4_k_m | источник: 01-short-standup.txt | статус: ok | время: 52.6с -->
|
||||
|
||||
## Ключевые тезисы
|
||||
- Павел завершил миграцию таблицы `conference_sessions` с добавлением индекса по `pipeline_status`.
|
||||
- Сергей устранил баг с потерей коротких реплик при реконструкции и написал тест на синтетическом таймлайне.
|
||||
- Ирина запросила у Павла ревью админки для настроек уровня AI до конца дня.
|
||||
- Сергей планирует взять задачу по чанкингу транскрипта и проверить границу в 20 минут.
|
||||
- Сергей согласился взять задачу по добавлению лимита на длину сегмента и алерту в Grafana в текущий спринт.
|
||||
|
||||
## Принятые решения и задачи
|
||||
- Добавить лимит на длину сегмента и алерт в Grafana при превышении — ответственный: Сергей — срок: сегодня
|
||||
- Взять задачу по чанкингу транскрипта — ответственный: Сергей — срок: не указан
|
||||
- Взять задачу по ретраям в `notify_session` — ответственный: Павел — срок: не указан
|
||||
- Взять задачу по исправлению идемпотентности `summarize_session` — ответственный: Павел — срок: не указан
|
||||
|
||||
## Открытые вопросы
|
||||
- Кто-нибудь смотрел баг репорт про дубли уведомлений при повторной постановке `summarize_session` (Ирина)
|
||||
|
||||
## Цифры и факты
|
||||
- Сегмент без разбивки по VAD составил 45 минут (Сергей)
|
||||
- Граница для проверки в чанкинге транскрипта — 20 минут (Сергей)
|
||||
49
workers/summarizer/eval/results/min/02-long-multitopic.md
Normal file
49
workers/summarizer/eval/results/min/02-long-multitopic.md
Normal file
@@ -0,0 +1,49 @@
|
||||
<!-- уровень: min | модель: qwen3.5-4b-instruct-q4_k_m | источник: 02-long-multitopic.txt | статус: ok | время: 479.6с -->
|
||||
|
||||
## Ключевые тезисы
|
||||
- План релиза 0.1.0 включает фичу room composite egress через LiveKit и требует доводки ротации файлов для конференций более двух часов.
|
||||
- Для релиза 0.0.1 подтверждена готовность install.sh с пятью идемпотентными пресетами и чекбокса анонса записи.
|
||||
- Выделено место в бэклог фазы 7b для задачи по автоочистке старых записей.
|
||||
- Для тестового GPU-хоста требуется уровень max с минимум 24 ГБ VRAM под Qwen3.5-35B-A3B.
|
||||
- Аренда GPU-хоста на два месяца согласована с бюджетом примерно 60 тысяч рублей.
|
||||
- Бюджет на домен и SSL сертификат не требуется, так как домен уже есть и сертификат берётся через Let's Encrypt.
|
||||
- Требуется ещё один бэкенд-разработчик на пайплайн AI из-за высокой нагрузки на Сергея и Павла.
|
||||
- Собеседования назначены на следующую неделю, во вторник и четверг.
|
||||
- На следующей неделе запланировано демо для потенциального клиента со стабильным стендом уровня AI medium.
|
||||
|
||||
## Принятые решения и задачи
|
||||
- Оформить аренду GPU-хоста на два месяца с бюджетом примерно 60 тысяч рублей для согласования сегодня — ответственный: Дарья — срок: сегодня
|
||||
- Согласовать бюджет на аренду GPU-хоста с финансами до пятницы — ответственный: Марина — срок: в пятницу
|
||||
- Добавить в заявку резервный SSD на 1 ТБ для бэкапов базы — ответственный: Марина — срок: не указан
|
||||
- Завести задачу на тестовое восстановление бэкапа хотя бы раз в месяц по расписанию — ответственный: Марина — срок: не указан
|
||||
- Выполнить настройку тестового восстановления бэкапа по расписанию — ответственный: Игорь — срок: не указан
|
||||
- Назначить Игоря на проведение технической части собеседований — ответственный: Игорь — срок: не указан
|
||||
- Отправить резюме знакомого разработчика Дарье для включения в воронку — ответственный: Игорь — срок: сегодня
|
||||
- Подготовить сравнение зарплатной вилки с рынком для обсуждения с финансовым директором — ответственный: Дарья — срок: к пятнице
|
||||
- Подготовить сценарий демо для клиента — ответственный: Игорь — срок: к понедельнику
|
||||
- Поднять стенд с уровнем AI medium для демо — ответственный: Олег — срок: заранее во вторник
|
||||
- Запустить проверку наличия nvidia-smi в PATH для пресета 5 — ответственный: Олег — срок: не указан
|
||||
- Запустить задачу по заведению бага с высоким приоритетом для GPU-хостов — ответственный: Олег — срок: не указан
|
||||
|
||||
## Открытые вопросы
|
||||
- Кто будет проводить техническое интервью? (Марина)
|
||||
- Сколько часов записей можно хранить на дефолтном пресете 5 с диском 250 ГБ? (Дарья)
|
||||
|
||||
## Цифры и факты
|
||||
- 1 ГБ на час видео при среднем битрейте — (прикидка из ADR)
|
||||
- 250 ГБ диска — (объем для расчета часов записей)
|
||||
- 200 часов записей — (максимальный срок хранения на 250 ГБ)
|
||||
- 5 пресетов — (количество в install.sh)
|
||||
- три раза каждый — (количество прогонов для проверки идемпотентности)
|
||||
- конец месяца — (таргет на релиз)
|
||||
- неделя — (срок на доводку и тесты)
|
||||
- минимум 24 ГБ VRAM под Qwen3.5-35B-A3B — (требование для тестового GPU-хоста)
|
||||
- Аренда карты уровня RTX 4090 или A5000 обойдётся примерно в 25-30 тысяч рублей в месяц — (Дарья)
|
||||
- Вариант купить б/у сервер с 3090 за разовые 180 тысяч, окупится за полгода аренды — (Дарья)
|
||||
- Плюс примерно 3 тысячи в месяц на электричество при размещении в серверном шкафу — (Дарья)
|
||||
- Бюджет аренды GPU-хоста на два месяца примерно 60 тысяч рублей — (Дарья)
|
||||
- Бэкапы льются на тот же диск, что и продакшен — (Дарья)
|
||||
- pg_dump по крону раз в сутки — (Игорь)
|
||||
- 12 откликов за неделю на вакансию — (Дарья)
|
||||
- 4 кандидата подходят по требованиям — (Дарья)
|
||||
- Рынок зарплат сеньоров вырос на 15 процентов за последние полгода — (Дарья)
|
||||
22
workers/summarizer/eval/results/min/03-dialogue-1on1.md
Normal file
22
workers/summarizer/eval/results/min/03-dialogue-1on1.md
Normal file
@@ -0,0 +1,22 @@
|
||||
<!-- уровень: min | модель: qwen3.5-4b-instruct-q4_k_m | источник: 03-dialogue-1on1.txt | статус: ok | время: 65.9с -->
|
||||
|
||||
## Ключевые тезисы
|
||||
- Дмитрий успешно закрыл фичу реконструкции фраз раньше срока с хорошим покрытием тестами.
|
||||
- Дмитрий признал недооцененную сложность аварийного деления монолога по предложениям.
|
||||
- Анна предложила закладывать буфер 20-30% на задачи с чистой логикой и TDD.
|
||||
- Дмитрий согласился взять техническое лидерство по блоку AI-пайплайна.
|
||||
- Дмитрий попросил обновить рабочую станцию для одновременного прогона backend-тестов и локального llama.cpp сервера.
|
||||
|
||||
## Принятые решения и задачи
|
||||
- Дмитрий берет техническое лидерство по блоку AI-пайплайна — ответственный: Дмитрий — срок: не указан
|
||||
- Анна подготовит предложение о пересмотре зарплаты — ответственный: Анна — срок: не указан
|
||||
- Анна оформит заявку на апгрейд памяти рабочей станции до конца недели — ответственный: Анна — срок: до конца недели
|
||||
|
||||
## Открытые вопросы
|
||||
- Какие детали будут обсужены на следующей встрече по зарплате — (Анна)
|
||||
|
||||
## Цифры и факты
|
||||
- Чанкинг транскрипта занял в полтора раза больше времени, чем закладывали — (контекст: задача ушла в переработку)
|
||||
- В прошлом месяце Дмитрий два дня ждал ответа по API llama.cpp — (контекст: прежде чем написать в общий чат)
|
||||
- Анна предлагает закладывать буфер 20-30% на задачи с чистой логикой и TDD — (контекст: чтобы избежать переработки)
|
||||
- Анна предлагает писать в блокеры максимум через полдня — (контекст: чтобы быстрее подключить кого-то на помощь)
|
||||
21
workers/summarizer/eval/results/min/04-multispeaker-guest.md
Normal file
21
workers/summarizer/eval/results/min/04-multispeaker-guest.md
Normal file
@@ -0,0 +1,21 @@
|
||||
<!-- уровень: min | модель: qwen3.5-4b-instruct-q4_k_m | источник: 04-multispeaker-guest.txt | статус: ok | время: 76.7с -->
|
||||
|
||||
## Ключевые тезисы
|
||||
- VidConf предлагает полностью self-hosted архитектуру с возможностью развертывания на собственных серверах без внешних облаков (Игорь).
|
||||
- Гостям не требуется регистрация и указание корпоративной почты для входа в конференцию (Игорь).
|
||||
- Функция записи встреч и генерации саммари появится в отдельном релизе 0.1.0 в течение следующего месяца-двух (Дарья).
|
||||
- Для среднего уровня поставки достаточно сервера с CPU, но рекомендуется 12-16 ядер и 32 ГБ памяти (Дарья).
|
||||
- Предлагается пилотный проект на 2-3 недели с использованием минимального уровня AI (Марина).
|
||||
|
||||
## Принятые решения и задачи
|
||||
- Пилотный проект VidConf стартует на следующей неделе с минимальным уровнем AI (Марина) — ответственный: не назначен — срок: не указан
|
||||
- Список сотрудников для создания аккаунтов будет отправлен на почту до начала пилота (Виктор Соколов) — ответственный: Виктор Соколов — срок: не указан
|
||||
- Промежуточный отзыв по пилоту запланирован через две недели (Марина) — ответственный: не назначен — срок: не указан
|
||||
|
||||
## Открытые вопросы
|
||||
- Какую точность транскрибации обеспечивает VidConf на специфичной строительной терминологии (Виктор Соколов)
|
||||
|
||||
## Цифры и факты
|
||||
- Пилотный проект рассчитан на 2-3 недели (Марина)
|
||||
- Релиз с функцией записи запланирован на 0.1.0 (Дарья)
|
||||
- Для среднего уровня рекомендуется 12-16 ядер и 32 ГБ памяти (Дарья)
|
||||
39
workers/summarizer/eval/results/min/05-metrics-heavy.md
Normal file
39
workers/summarizer/eval/results/min/05-metrics-heavy.md
Normal file
@@ -0,0 +1,39 @@
|
||||
<!-- уровень: min | модель: qwen3.5-4b-instruct-q4_k_m | источник: 05-metrics-heavy.txt | статус: ok | время: 114.5с -->
|
||||
|
||||
## Ключевые тезисы
|
||||
- Выручка за третий квартал составила 14.2 миллиона рублей с перевыполнением плана на 5.2 процента.
|
||||
- Активных инстансов VidConf на конец квартала 47, из них 12 на уровне AI средний и 3 на максимальном.
|
||||
- Маржинальность по проектам поставки в среднем 62 процента, по подписке на поддержку — 78 процентов.
|
||||
- По качеству транскрибации word error rate на минимальном уровне 14.3 процента, на среднем 9.1, на максимальном 5.8.
|
||||
- Прогноз на следующий квартал: план по выручке 17 миллионов, рост 19.7 процента к текущему кварталу.
|
||||
|
||||
## Принятые решения и задачи
|
||||
- Занести замеры качества транскрибации в регламент с повторением раз в квартал при смене моделей — ответственный: Наталья — срок: не указан
|
||||
- Обновить документ capacity.md с цифрами из нагрузочных тестов SFU — ответственный: Роман — срок: вчера
|
||||
- Увеличить лимит reduce минимум до 1536 токенов начиная с прошлой недели — ответственный: не назначен — срок: не указан
|
||||
- Отслеживать снижение числа жалоб по категории неверных имен в саммари в следующем квартале — ответственный: не назначен — срок: не указан
|
||||
- Зафиксировать цели и назначить следующий обзор через квартал — ответственный: не назначен — срок: через квартал
|
||||
|
||||
## Открытые вопросы
|
||||
- Будет ли снижено число жалоб по категории неверных имен в саммари в следующем квартале? (Наталья)
|
||||
|
||||
## Цифры и факты
|
||||
- Выручка за третий квартал: 14.2 миллиона рублей (план 13.5 миллиона)
|
||||
- Активных инстансов VidConf на конец квартала: 47 (в начале квартала 31)
|
||||
- Отток инстансов за квартал: 2 (4.3 процента)
|
||||
- Затраты на инфраструктуру за квартал: 890 тысяч рублей
|
||||
- Маржинальность по проектам поставки: 62 процента
|
||||
- Маржинальность по подписке на поддержку: 78 процентов
|
||||
- Word error rate на минимальном уровне: 14.3 процента
|
||||
- Word error rate на среднем уровне: 9.1 процента
|
||||
- Word error rate на максимальном уровне: 5.8 процента
|
||||
- Деградация нагрузки SFU начинается при битрейте выше 2.5 Мбит/с
|
||||
- Максимальное количество одновременных издателей на одном сервере: 80
|
||||
- Количество закрытых тикетов поддержки за квартал: 96
|
||||
- Средний SLA ответа: 3.4 часа (целевой 4 часа)
|
||||
- Основная категория обращений: 41 процент (установка и конфигурация)
|
||||
- Категория обращений по качеству AI: 27 процентов
|
||||
- Прочие обращения: 32 процента
|
||||
- Прогноз выручки на следующий квартал: 17 миллионов рублей
|
||||
- Бюджет на инфраструктуру на следующий квартал: 1.1 миллиона рублей
|
||||
- План по росту инстансов для найма специалиста поддержки: выше 60
|
||||
49
workers/summarizer/eval/results/min/_run_meta.json
Normal file
49
workers/summarizer/eval/results/min/_run_meta.json
Normal file
@@ -0,0 +1,49 @@
|
||||
{
|
||||
"level": "min",
|
||||
"model": "qwen3.5-4b-instruct-q4_k_m",
|
||||
"base_url": "http://localhost:8080/v1",
|
||||
"chunk_minutes": 20,
|
||||
"temperature": 0.2,
|
||||
"max_tokens_map": 1024,
|
||||
"max_tokens_reduce": 1536,
|
||||
"tokenizer_path": "/models/qwen/qwen3.5-4b-instruct.tokenizer.json",
|
||||
"started_at": "2026-07-20T22:32:10.852376+00:00",
|
||||
"files": [
|
||||
{
|
||||
"source": "01-short-standup.txt",
|
||||
"status": "ok",
|
||||
"elapsed_s": 52.6,
|
||||
"error": null,
|
||||
"result_file": "workers/summarizer/eval/results/min/01-short-standup.md"
|
||||
},
|
||||
{
|
||||
"source": "02-long-multitopic.txt",
|
||||
"status": "ok",
|
||||
"elapsed_s": 479.6,
|
||||
"error": null,
|
||||
"result_file": "workers/summarizer/eval/results/min/02-long-multitopic.md"
|
||||
},
|
||||
{
|
||||
"source": "03-dialogue-1on1.txt",
|
||||
"status": "ok",
|
||||
"elapsed_s": 65.9,
|
||||
"error": null,
|
||||
"result_file": "workers/summarizer/eval/results/min/03-dialogue-1on1.md"
|
||||
},
|
||||
{
|
||||
"source": "04-multispeaker-guest.txt",
|
||||
"status": "ok",
|
||||
"elapsed_s": 76.7,
|
||||
"error": null,
|
||||
"result_file": "workers/summarizer/eval/results/min/04-multispeaker-guest.md"
|
||||
},
|
||||
{
|
||||
"source": "05-metrics-heavy.txt",
|
||||
"status": "ok",
|
||||
"elapsed_s": 114.5,
|
||||
"error": null,
|
||||
"result_file": "workers/summarizer/eval/results/min/05-metrics-heavy.md"
|
||||
}
|
||||
],
|
||||
"finished_at": "2026-07-20T22:45:20.211583+00:00"
|
||||
}
|
||||
Reference in New Issue
Block a user