How we created a soundboard using ElevenLabs SFX API

Imagine a soundboard that can generate unlimited sounds on demand. That’s exactly what we built at ElevenLabs — meet SB1, our infinite soundboard. On the surface, it looks like a typical grid of pads you trigger with clicks or keyboard shortcuts. Under the hood, it’s powered by our text-to-sound effects AI audio model. 

To use it you simply describe any sound you can think of, and SB1 will generate it. There are also some predefined default sounds, but even they can be replaced.

De l'idée au prototype

Nous avons commencé par une simple question : et si vous pouviez taper une description, comme « sons doux de forêt ambiante » ou « gasp dramatique du public », et obtenir un effet sonore prêt à l'emploi ?

Les tables de mixage traditionnelles reposent sur des bibliothèques MP3 statiques que vous devez chercher en ligne. Même si vous trouvez un son approprié, souvent il n'est pas 'exactement' ce que vous vouliez. Mais avec l'IA générative, ce n'est plus un problème. Vous n'êtes plus limité.

Avant de plonger dans le code, nous nous sommes tournés vers Lovable pour créer une version prototype basique de ce qui deviendrait SB1. Pas encore connecté à l'API, cela nous a permis d'expérimenter les choix de design et les emplacements des boutons, avant que notre brillante équipe ne crée l'interface finale et le code.

Nous voulions du contenu dynamique — n'importe quel son, généré à la volée. Le cœur de notre solution est l'API SFX d'ElevenLabs. L'API se trouve derrière un seul point de terminaison :

Vous envoyez une charge utile JSON avec votre prompt, le nombre de variations souhaitées (nous en proposons quatre par défaut), et votre clé API dans l'en-tête Authorization.

La réponse renvoie un tableau d'URLs pointant vers des fichiers WAV générés. À partir de là, vous pouvez diffuser ou télécharger et assigner chaque clip à un pad. Vous pouvez même définir des boucles. Utilisez des prompts descriptifs pour plus de détails.

Une requête d'exemple ressemble à ceci :

Et vous recevrez un tableau de quatre URLs. Nous avons conçu l'API pour qu'elle s'adapte à tout cas d'utilisation — de la création de table de mixage ad hoc à la génération en masse pour les ressources de jeu.

Construire l'interface SB1

Avec l'API en place, nous nous sommes tournés vers le front-end. SB1 est une application web construite avec React et Tailwind CSS. Chaque composant de pad a deux modes :

1. Préréglé : chargé à partir d'un ensemble enregistré d'URLs sonores
2. Personnalisé : généré par l'utilisateur via l'API SFX

Lorsque vous cliquez sur un pad vide en mode personnalisé, une boîte de dialogue de prompt apparaît. Vous tapez votre description, appuyez sur Générer, et l'API renvoie quatre options. Vous les écoutez en ligne, choisissez votre préférée, et le pad se met à jour immédiatement. Les raccourcis clavier vous permettent de déclencher les pads avec des pressions de touches, pour jouer des rythmes ou des signaux sonores en direct.

Nous avons également ajouté des contrôles de boucle. Il suffit d'appuyer sur le bouton de boucle, de taper le son que vous voulez boucler et il continuera à jouer jusqu'à ce que vous le relâchiez. Cela rend SB1 utile non seulement pour les blagues — pensez aux boîtes à rythmes et aux ambiances sonores — mais aussi pour le podcasting, les signaux sonores en direct et les méditations guidées.

Exemples en action

Paysage sonore ambiant

• Pluie légère : "pluie légère tombant sur des feuilles"

• Pluie forte : "pluie forte tombant sur un toit en tôle"

• Vagues de l'océan : vagues douces roulant sur le rivage

Nous avons généré chacun en envoyant des prompts comme « pluie légère tombant sur des feuilles » et « vagues douces roulant sur le rivage ». Ensuite, nous avons réglé ces pads pour boucler, créant un fond pour la concentration ou la méditation.

Boîte à rythmes

• 808 kick : "808 kick très basse"

• Coup de caisse claire : "claquement de caisse claire serré"

• Cymbale ouverte : "cymbale ouverte résonnant"

Vous n'avez pas besoin d'échantillons audio d'une bibliothèque de percussions. Il suffit de décrire « 808 kick très basse » ou « claquement de caisse claire serré », et l'API vous donne quatre versions à écouter. Nous les avons mappées aux touches A, S et D pour une démonstration de performance en direct.

Si vous voulez vraiment pousser le modèle, vous pouvez aussi l'utiliser pour créer de courts extraits vocaux dans le son d'un personnage. Vous spécifiez simplement le personnage puis mettez les mots entre crochets.

• DJ survolté : DJ survolté disant "Commençons la fête"

• Orc en mission : Orc avec une voix rauque disant : "Cette salle est pleine à craquer"

• Chant de sirène : Voix féminine envoûtante chantant : "Il est temps de rentrer se coucher, la fête est finie"

Préréglages personnalisés

Vous pouvez enregistrer et nommer vos propres préréglages — par exemple, « FX de livestream » avec des sons de surprise, de rire et d'applaudissements. Après avoir construit votre tableau, cliquez sur Partager pour copier un lien ou publier directement sur les réseaux sociaux. Toute personne ayant le lien charge votre configuration SB1 et peut jouer vos sons sélectionnés.

Retours pour développeurs

• Génération sans état : Chaque appel API est indépendant. Vous n'avez pas besoin de gérer un pipeline d'entraînement ou de stocker de grandes bibliothèques d'échantillons — il suffit de mettre en cache les URLs que vous utilisez dans votre interface.
• Faible latence : Le temps de génération typique est inférieur à deux secondes, ce qui semble instantané lorsque vous faites une démonstration de la fonctionnalité.
• Évolutif : Vous pouvez générer des centaines de sons en parallèle, puis les stocker dans votre propre CDN pour une utilisation à fort trafic.
• Formats flexibles : WAV pour la plus haute fidélité, MP3 si vous avez besoin de fichiers plus petits.

Pour commencer vous-même, consultez notre documentation. Vous y trouverez des exemples de code en JavaScript, Python et cURL qui montrent comment intégrer l'API SFX dans vos projets.

Et ensuite ?

SB1 n'est qu'une démonstration de ce que notre modèle d'effets sonores peut faire. Nous explorons des plugins pour OBS et des stations de travail audio numériques, afin que vous puissiez générer de nouveaux sons sans quitter votre logiciel de streaming ou de production. Nous affinons également le modèle pour améliorer les performances sur les prompts liés à la musique — pensez à des percussions exotiques ou des textures de synthétiseur.

Si vous créez quelque chose de cool, nous voulons le voir. Identifiez-nous sur les réseaux sociaux ou partagez votre lien de préréglage. Que vous soyez streamer, podcasteur, développeur de jeux ou simplement quelqu'un qui aime jouer avec le son, SB1 et l'API SFX mettent une créativité audio illimitée à portée de main.

Essayez-le gratuitement dès aujourd'hui — pas besoin de bibliothèque MP3.