Voice AI Assistant
Прототип голосового помощника для обзвона
AI R&D Engineer
Исследовательский прототип для первого звонка клиенту и уточнения заявки.
Событие из Kaiten запускает звонок через Mango. Звук передаётся в Yandex AI Studio Realtime для обработки речи и ответа.
Основная задача эксперимента: сократить паузы между репликами и проверить разговор с прерыванием ответа.
Стек
Python · Yandex AI Studio Realtime · STT / TTS · Mango Telephony API · Kaiten API · Webhooks · FastAPI · AsyncIO
Архитектура
1. CRM Trigger
Создание карточки клиента или сдвиг статуса
2. Call Dispatcher
Формирование контекста и вызов через АТС
3. Voice Stream Bridge
Двунаправленная потоковая передача аудио
4. Speech-to-Text
Потоковое распознавание речи пользователя
5. Dialogue LLM
Генерация реплики с учетом сценария разговора
6. Neural TTS
Синтез естественной речи и передача в канал связи
Задачи и решения
Критичность задержки (latency): долгие паузы ломают ощущение живого диалога
Переход на потоковую передачу чанков аудио и использование быстрых моделей с прерыванием генерации при начале речи собеседника.
Достигнута комфортная задержка отклика в тестовых сценариях.
• Работа с голосовым API и телефонией.
• Запуск сценариев из Kaiten.
• Статус проекта: исследовательский прототип.