Comment nous avons créé une table de mixage avec l’API SFX d’ElevenLabs

Imaginez une table de mixage capable de générer une infinité de sons à la demande. C’est exactement ce que nous avons conçu chez ElevenLabs : découvrez SB1, notre table de mixage infinie. En apparence, elle ressemble à une grille classique de pads que vous déclenchez par clic ou à l’aide de raccourcis clavier. En coulisses, elle repose sur notre modèle d’audio IA Text to Sound Effects.

Pour l’utiliser, décrivez simplement le son de votre choix et SB1 le générera. Des sons par défaut prédéfinis sont également disponibles, mais vous pouvez aussi les remplacer.

De l’idée au prototype

Nous sommes partis d’une question simple : et si vous pouviez saisir une description, comme « sons doux d’une forêt en ambiance » ou « halètement dramatique du public », et obtenir un effet sonore prêt à l’emploi ?

Les tables de mixage classiques reposent sur des bibliothèques statiques de MP3 qu’il faut chercher en ligne. Même lorsque vous trouvez un son adapté, il ne correspond souvent pas « exactement » à ce que vous vouliez. Avec l’IA générative, ce n’est plus un problème. Vous n’êtes plus limité.

Avant de passer au code, nous nous sommes tournés vers Lovable pour créer un prototype simple de ce qui allait devenir SB1. Sans connexion à l’API à ce stade, il nous a permis d’expérimenter les choix de conception et le placement des boutons, avant que notre équipe ne crée l’interface utilisateur et le code définitifs.

Nous voulions un contenu dynamique : n’importe quel son, généré à la volée. L’API SFX d’ElevenLabs est au cœur de notre solution. L’API repose sur un seul endpoint :

POST https://api.elevenlabs.io/v1/sound-generation

Vous envoyez une charge utile JSON avec votre prompt, le nombre de variations souhaité, quatre par défaut, et votre clé API dans l’en-tête Authorization.

La réponse renvoie un tableau d’URL pointant vers des fichiers WAV générés. Vous pouvez ensuite les lire en streaming ou les télécharger, puis attribuer chaque clip à un pad. Vous pouvez même activer la lecture en boucle. Utilisez des prompts descriptifs pour obtenir davantage de détails.

Voici à quoi ressemble un exemple de requête :

{
  "prompt": "rain hitting the roof of a tent",
  "n": 4,
  "format": "wav"
}

Vous recevrez alors un tableau de quatre URL. Nous avons conçu l’API pour qu’elle s’adapte à tous les cas d’usage, de la création ponctuelle d’une table de mixage à la génération en masse de ressources pour les jeux.

Concevoir l’interface de SB1

Une fois l’API en place, nous nous sommes concentrés sur le front-end. SB1 est une application web conçue avec React et Tailwind CSS. Chaque composant de pad propose deux modes :

1. Préréglage : charge un ensemble enregistré d’URL de sons
2. Personnalisé : généré par l’utilisateur via l’API SFX

Lorsque vous cliquez sur un pad vide en mode personnalisé, une boîte de dialogue de prompt s’affiche. Saisissez votre description, cliquez sur Générer, et l’API renvoie quatre options. Écoutez-les directement, choisissez votre préférée, et le pad se met immédiatement à jour. Les raccourcis clavier vous permettent de déclencher les pads au clavier, pour jouer des rythmes ou des signaux sonores en direct.

Nous avons également ajouté des commandes de lecture en boucle. Appuyez simplement sur le bouton de boucle, sélectionnez le son à répéter, et il continuera à jouer jusqu’à ce que vous le relâchiez. SB1 est ainsi utile non seulement pour s’amuser, avec par exemple des boîtes à rythmes et des ambiances sonores, mais aussi pour les podcasts, les signaux sonores de livestream et les méditations guidées.

Exemples en action

Paysage sonore ambiant

• Pluie légère : « légère pluie tombant goutte à goutte sur des feuilles »

• Pluie forte : «forte pluie tombant sur un toit en tôle »

• Vagues de l’océan : douces vagues venant s’échouer sur le rivage

Nous avons généré chacun de ces sons en envoyant des prompts tels que « légère pluie tombant goutte à goutte sur des feuilles » et « douces vagues venant s’échouer sur le rivage ». Nous avons ensuite réglé ces pads en lecture en boucle pour créer un fond sonore propice à la concentration ou à la méditation.

Boîte à rythmes

• Grosse caisse 808 : «grosse caisse 808 avec des basses très puissantes »

• Frappe de caisse claire : «claquement net de caisse claire »

• Cymbale ouverte : « cymbale ouverte qui résonne »

Vous n’avez pas besoin d’échantillons audio provenant d’une bibliothèque de batterie. Décrivez simplement une « grosse caisse 808 avec des basses très puissantes » ou un « claquement net de caisse claire », et l’API vous propose quatre versions à écouter. Nous les avons associées aux touches A, S et D pour une démonstration en direct.

Si vous souhaitez vraiment pousser le modèle, vous pouvez aussi l’utiliser pour créer de courts extraits vocaux avec la voix d’un personnage. Indiquez simplement le personnage, puis placez les paroles entre crochets.

• DJ survolté : DJ survolté disant « Que la fête commence »

• Orc en mission : Orc à la voix rauque disant : « Cette salle a atteint sa capacité maximale »

• Chant de sirène : Voix féminine envoûtante chantant : « Il est temps de rentrer se coucher, la fête est terminée »

Préréglages personnalisés

Vous pouvez enregistrer et nommer vos propres préréglages, par exemple « Effets de livestream », avec des halètements, des rires et des applaudissements. Après avoir configuré votre table, cliquez sur Partager pour copier un lien ou publier directement sur les réseaux sociaux. Toute personne disposant du lien peut charger votre configuration SB1 et lire les sons que vous avez sélectionnés.

À retenir pour les développeurs

• Génération sans état : chaque appel API est indépendant. Vous n’avez pas besoin de gérer un pipeline d’entraînement ni de stocker de grandes bibliothèques d’échantillons, il vous suffit de mettre en cache les URL utilisées dans votre interface utilisateur.
• Faible latence : le temps de génération habituel est inférieur à deux secondes, ce qui paraît instantané lors d’une démonstration de la fonctionnalité.
• Évolutif : vous pouvez générer par lots des centaines de sons en parallèle, puis les stocker sur votre propre CDN pour les usages à fort trafic.
• Formats flexibles : WAV pour une fidélité maximale, MP3 si vous avez besoin de fichiers plus légers.

Pour vous lancer, consultez notre documentation. Vous y trouverez des exemples de code en JavaScript, Python et cURL qui montrent comment intégrer l’API SFX à vos projets.

Et maintenant ?

SB1 n’est qu’une démonstration des capacités de notre modèle d’effets sonores. Nous explorons des plugins pour OBS et les stations de travail audio numérique afin que vous puissiez générer de nouveaux sons sans quitter votre logiciel de streaming ou de production. Nous affinons également le modèle pour améliorer ses performances sur les prompts liés à la musique, comme les percussions exotiques ou les textures de synthétiseur.

Si vous concevez quelque chose d’intéressant, nous voulons le découvrir. Identifiez-nous sur les réseaux sociaux ou partagez le lien vers votre préréglage. Que vous soyez streamer, podcasteur, développeur de jeux ou simplement amateur de sons, SB1 et l’API SFX mettent une créativité audio illimitée à votre portée.

Essayez-le gratuitement dès aujourd’hui, sans bibliothèque de MP3.