Устранить задержки аудиопотоков (WebRTC, Node.js)

<p><b>Цель:</b> Снизить текущие задержки через QoS(?) и оптимизацию маршрутов(SFU?)<br>Клиент ? STT (распознавание речи) ? LLM ? TTS (синтез) ? Клиент.</p><p>Текущий стек:</p><ul><li><p>Бекенд на <b>Node.js</b> с передачей аудио через <b>WebSocket</b>.</p></li><li><p><b>STT (Speech-to-Text)</b> ? <b>LLM</b> ? <b>TTS (Text-to-Speech)</b> ? Клиент</p></li><li><p>Аудиокодек: <b>PCM16 (8 kHz)</b> (без перекодирования, совместимость с браузерами, включая Safari).</p></li></ul><p><b>Текущее видение реализации проекта (вероятно оно может быть другое)</b></p><p>1. Анализ и проектирование:</p><p>• Изучить текущую архитектуру (WebSocket + Node.js).</p><p>• Предложить схему уменьшения задержек, через SFU для 1:1 аудиосвязи (не конференции!).</p><p>2. Настройка SFU-сервера:</p><p>• Развернуть Mediasoup /  Jitsi / OpenVidu, или облачное решение Daily / LiveKit, но мы там ограничены комнатами, возможно это не так).</p><p>3. Оптимизация задержек:</p><p>• Устранить узкие места в цепочке (замер текущих задержек ~300-400 мс).</p><p>• Протестировать работу в условиях высокой нагрузки.</p><p>4. Масштабирование:</p><p>• Настроить горизонтальное масштабирование SFU (Docker/Kubernetes).</p><p>• Добавить балансировку нагрузки между экземплярами STT/TTS.</p><p>5. Синхронизация с IP-телефонией:</p><p>• Подготовить интеграцию с SIP (на будущее, но учесть в архитектуре).</p><p><b>Требования к кандидату:</b></p><ul><li><p>Экспертиза в <b>WebRTC</b> (ICE/STUN/TURN, аудиопотоки).</p></li><li><p>Опыт с <b>SFU</b> (Mediasoup, Jitsi и.т.д) и аудиокодеками (PCM, Opus).</p></li><li><p>Навыки в <b>Node.js</b> (бекенд для медиасерверов).</p></li><li><p>Понимание сетей: RTP, QoS, туннелирование.</p></li></ul>