Fluencto
Recepcionista de voz para clínicas que entende o paciente, consulta agenda e serviços por tool calling e responde com áudio natural — tudo em uma sessão WebSocket.
O desafio
Em uma conversa por voz, uma resposta correta que chega tarde ainda parece errada. O projeto precisa coordenar transcrição, raciocínio, consulta ao banco e síntese sem bloquear o fluxo — mantendo o histórico consistente mesmo quando o usuário interrompe a fala.
Arquitetura em tempo real
- Streaming ponta a ponta. O navegador envia PCM16 por AudioWorklet; Deepgram, Claude e ElevenLabs trabalham em fluxo, sem esperar a resposta inteira.
- Ferramentas com contexto. O agente consulta serviços, profissionais, agenda e FAQ em SQLite por tool calling.
- Barge-in consistente. Uma nova fala cancela LLM e TTS, limpa o player e preserva um histórico válido.
- Latência observável. Cada etapa é medida no relógio do áudio para separar endpointing, primeiro token, primeira frase e primeiro som.
Estado honesto: a mediana medida antes da correção mais recente foi de aproximadamente 3,2 s. A pré-conexão foi implementada, mas ainda precisa ser validada no notebook e sincronizada com o repositório antes da demo pública.
