Comprendre le streaming audio
Découvrez pourquoi la génération audio en streaming diffère du streaming de fichiers et ce que cela implique pour votre application.
Lorsque vous diffusez une vidéo en streaming, vous téléchargez un fichier. Le serveur envoie des octets et votre lecteur les met en mémoire tampon jusqu’à en avoir suffisamment pour lancer la lecture. Le streaming de génération audio est fondamentalement différent. L’audio n’existe pas encore au début du streaming. Le modèle le synthétise en temps réel, et les octets diffusés correspondent à la sortie en direct de ce processus de synthèse.
Cette distinction est importante, car elle change la façon d’appréhender la latence, la mise en mémoire tampon et les modes de défaillance.
Ce qui se passe lorsque vous appelez le point de terminaison de streaming
Lorsque vous appelez le point de terminaison TTS de streaming d’ElevenLabs, la séquence suivante se produit :
- Votre requête arrive au serveur.
- Le modèle commence à synthétiser la parole.
- À mesure que l’audio est généré, le serveur l’envoie progressivement, généralement par blocs de quelques kilooctets.
- Votre client reçoit et lit chaque bloc dès son arrivée.
Le point essentiel se situe à l’étape 3 : le serveur n’attend pas que l’intégralité du fichier audio soit prête avant de l’envoyer. C’est ce qui distingue fondamentalement le streaming du point de terminaison standard, qui attend la fin de la synthèse avant de renvoyer le moindre audio.
Pourquoi le streaming réduit le délai avant le premier audio
Avec le point de terminaison standard, le délai avant le premier audio correspond au temps nécessaire pour synthétiser l’intégralité du texte. Pour une courte phrase, cela peut prendre 500 ms ; pour un paragraphe, plusieurs secondes.
Avec le streaming, le délai avant le premier audio correspond approximativement au temps nécessaire pour synthétiser le premier bloc audio, généralement les premières centaines de millisecondes de parole. Tout ce qui suit est lu pendant que les blocs suivants sont générés en parallèle.
C’est pourquoi le streaming est essentiel aux applications en temps réel : l’utilisateur entend du son en une fraction de seconde, même si la génération complète prend plus de temps.
Les deux protocoles de streaming
ElevenLabs prend en charge deux approches de streaming, adaptées à différents cas d’usage.
Le streaming HTTP (événements envoyés par le serveur) est l’approche la plus simple. Vous envoyez un texte complet au départ, puis le serveur renvoie l’audio en streaming à mesure de sa génération. Cette méthode fonctionne bien lorsque vous disposez de l’ensemble du texte avant de commencer, par exemple un script préécrit ou une réponse complète d’un LLM que vous souhaitez lire immédiatement.
Le streaming WebSocket permet une communication bidirectionnelle. Vous pouvez envoyer le texte progressivement, mot par mot ou phrase par phrase, et le modèle commence la génération avant que l’intégralité de l’entrée soit disponible. C’est ce qui rend possibles les pipelines vocaux de bout en bout à faible latence : un LLM génère des jetons, vous les transmettez au WebSocket TTS dès leur arrivée, et l’audio commence à être lu avant même que le LLM ait terminé sa réponse.
L’approche WebSocket ajoute de la complexité. Le modèle doit décider quand s’engager dans la génération audio : trop tôt, il risque de produire une prosodie peu naturelle aux frontières des groupes de mots ; trop tard, la latence augmente. Ce comportement est contrôlé par les calendriers de blocs et le paramètre auto_mode, qui gère automatiquement ce compromis dans la plupart des cas d’usage.
Pourquoi la taille des blocs affecte à la fois la latence et le naturel
La génération audio en streaming implique une tension fondamentale entre la taille des blocs et le naturel de la parole.
Les modèles de synthèse vocale tirent parti du contexte. Savoir ce qui précède et suit un mot donné aide le modèle à produire une prosodie naturelle. Un modèle qui génère de l’audio à partir de « L’économie » doit prendre en compte une prosodie très différente selon que la phrase se termine par « se redresse » ou « est en chute libre ».
S’engager trop tôt dans la génération audio, avant que le modèle ait reçu suffisamment de texte, risque de produire une parole peu naturelle aux frontières des groupes de mots. Elle sera techniquement correcte, mais légèrement robotique. Attendre davantage de contexte améliore le naturel, mais augmente la latence.
Le auto_mode d’ElevenLabs cherche à trouver automatiquement un bon équilibre en analysant le texte entrant. Pour la plupart des applications, il produit de bons résultats. Lorsque vous avez besoin d’un contrôle plus fin, par exemple pour un agent vocal où vous acceptez une prosodie légèrement moins naturelle en échange d’une latence réduite, vous pouvez configurer directement le calendrier des blocs.
Latence de streaming et latence de génération
Il est facile de confondre ces deux notions, mais elles correspondent à des mesures différentes.
La latence de génération est le temps nécessaire au modèle pour produire l’audio. Les chiffres de latence publiés pour les modèles la mesurent côté serveur : le temps nécessaire à ElevenLabs pour renvoyer le premier audio, hors allers-retours réseau et surcoût de l’application.
Le délai avant le premier audio est le temps écoulé entre le lancement d’une requête par votre application et la lecture effective du premier échantillon audio pour l’utilisateur final. Il inclut la latence réseau, le temps de traitement du serveur et toute mise en mémoire tampon introduite par votre lecteur audio.
En pratique, le délai avant le premier audio est nettement supérieur à la seule latence brute du modèle. Les allers-retours réseau ajoutent de 50 à 200 ms selon la distance géographique. La mémoire tampon de votre lecteur audio en ajoute davantage. Comprendre cette distinction vous aide à fixer des attentes réalistes et à diagnostiquer les problèmes de performances : si le délai avant le premier audio est élevé, le goulot d’étranglement se situe généralement dans le réseau ou la mise en mémoire tampon de l’application, et non dans les performances du modèle.
Idées reçues courantes
« Le point de terminaison de streaming est plus lent, car il envoie les données progressivement. » Non, il est plus rapide pour vos utilisateurs, car ils entendent l’audio plus tôt. Le temps de génération total est similaire ; ce qui change, c’est le moment où les données commencent à arriver.
« J’ai besoin de WebSockets pour diffuser en streaming. » Pas nécessairement. Le point de terminaison de streaming HTTP répond bien à la plupart des cas d’usage. Les WebSockets sont particulièrement utiles lorsque vous générez du texte et de l’audio simultanément, par exemple lorsqu’un LLM produit du texte directement transmis à la génération audio.
« Les formats audio de meilleure qualité augmentent fortement la latence de streaming. » C’est largement exagéré. Les principaux facteurs de latence sont le temps d’inférence du modèle et l’aller-retour réseau. Un format de sortie à débit binaire plus élevé ajoute une surcharge modeste, qu’il est rarement utile d’optimiser avant de traiter les facteurs plus importants.