Budgets de Latence Inférieurs à 300ms dans l'IA Vocale d'Entreprise
Matrice de spécification
Exigences d'ingénierie fondamentales
- ›Les silences naturels entre interlocuteurs durent entre 250 et 320ms ; tout délai supérieur à 400ms entraîne des collisions de parole.
- ›La reconnaissance ASR continue doit émettre ses hypothèses sous 70ms grâce à des décodeurs CTC ou Conformer vectorisés.
- ›Les LLM volumineux (70B) dépassent les budgets de temps ; des modèles compacts (7B-8B) à décodage spéculatif atteignent un TTFT sous 65ms.
- ›L'optimisation des buffers UDP du noyau Linux et l'isolation des cœurs CPU sont indispensables pour supprimer la gigue réseau.
1. Pourquoi le seuil de 400ms constitue la frontière absolue de la psychologie humaine
Les études psychoacoustiques approfondies (Recommandation ITU-T G.114) démontrent que lors d'un dialogue téléphonique naturel, des silences sous les 300ms sont perçus comme instantanés. Lorsque le délai dépasse 450ms, l'appelant pense que la communication a coupé et redemande « Allô ? ». Si le robot se met à parler à ce moment précis (ex. à 700ms), une collision acoustique se produit et brise l'interaction. Maintenir une conversation naturelle impose de maintenir la latence P95 strictement sous 280ms.
2. Décomposition du budget de latence milliseconde par milliseconde
Atteindre une réponse sous les 280ms de bout en bout nécessite de traquer chaque milliseconde superflue à chaque maillon de la chaîne. Les architectures cloud standard empilent les latences à chaque couche, tandis que Vext exploite des transferts mémoire zero-copy.
| Composant du Pipeline | Stack Cloud Ordinaire (APIs chaînées) | Pipeline Optimisé Vext Bare Metal | Gain de Temps |
|---|---|---|---|
| Détection de fin de parole (VAD) | 180 ms (Tampon cloud excessif) | 38 ms (Silero VAD optimisé bordure) | -142 ms |
| Ingestion et décodage réseau mobile | 65 ms (Transcodages multiples) | 12 ms (SIMD direct G.711) | -53 ms |
| Transcription ASR en continu | 240 ms (Attente de phrase complète) | 68 ms (Conformer CTC en streaming) | -172 ms |
| Premier token du modèle (TTFT) | 320 ms (API publique mutualisée) | 62 ms (Modèle 8B quantifié spéculatif) | -258 ms |
| Synthèse vocale TTS (1er bloc) | 160 ms (Génération de phrase entière) | 48 ms (Synthèse de phonèmes par flux) | -112 ms |
| Buffer de gigue et émission RTP | 75 ms (File statique prudente) | 18 ms (Tampon adaptatif lissé EWMA) | -57 ms |
| Latence globale aller-retour | 1 040 ms (Dialogue haché inutilisable) | 246 ms (Fluidité naturelle immédiate) | -794 ms (4,2x plus rapide) |
3. Optimisation des sockets UDP du noyau Linux & buffers mémoire zero-copy
Le traitement de centaines de flux audio bidirectionnels simultanés exige d'adapter la pile réseau du noyau Linux. Par défaut, Linux applique des paramètres UDP prudents qui provoquent des pertes de paquets et des sauts de trame sous forte charge. Vext configure l'affinité des cœurs CPU (`taskset`), isole les threads audio critiques et optimise les mémoires tampons UDP pour prévenir tout débordement de file lors des pics de trafic.
# Linux Production Real-Time Audio Sysctl Tuning (/etc/sysctl.d/99-voice-dsp.conf)
net.core.rmem_max = 67108864
net.core.wmem_max = 67108864
net.core.rmem_default = 33554432
net.core.wmem_default = 33554432
net.ipv4.udp_rmem_min = 16384
net.ipv4.udp_wmem_min = 16384
net.core.netdev_max_backlog = 100000
# Disable CPU frequency down-clocking for audio hot-loop cores
tuned-adm profile latency-performance4. Mécanique d'interruption (Barge-In) et annulation d'écho acoustique (AEC)
Le barge-in permet à l'appelant d'interrompre le robot vocal à tout instant. En téléphonie, cela pose un défi d'ingénierie redoutable : le son émis par le robot est réinjecté par le micro du combiné de l'appelant et revient vers l'ASR. Sans annulation d'écho acoustique (AEC) ultra-rapide, le robot entend sa propre voix et s'auto-interrompt par erreur. Vext intègre des filtres de détection de double-parole qui distinguent la voix réelle de l'appelant du retour acoustique en moins de 35ms.
Questions fréquentes sur la norme
Besoin d'un accompagnement sur cette norme ?
Échangez directement avec nos ingénieurs système à Casablanca.