Come abbiamo creato una soundboard con l'API SFX di ElevenLabs

Immagina una soundboard in grado di generare suoni illimitati su richiesta. È esattamente ciò che abbiamo creato in ElevenLabs: ecco SB1, la nostra soundboard infinita. In apparenza, sembra una classica griglia di pad che attivi con clic o scorciatoie da tastiera. Dietro le quinte, è basata sul nostro modello audio IA text-to-sound effects.

Per usarla, ti basta descrivere qualsiasi suono ti venga in mente e SB1 lo genererà. Sono disponibili anche alcuni suoni predefiniti, ma puoi sostituire anche quelli.

Dall'idea al prototipo

Siamo partiti da una semplice domanda: e se potessi digitare una descrizione, come “suoni soffusi di una foresta” o “drammatico sussulto del pubblico”, e ottenere un effetto sonoro pronto all'uso?

Le soundboard tradizionali si basano su librerie statiche di MP3 che devi cercare online. Anche quando trovi un suono adatto, spesso non è “esattamente” quello che volevi. Con l'IA generativa, però, non è più un problema. Non hai più limiti.

Prima di passare al codice, ci siamo rivolti a Lovable per creare un prototipo di base di quella che sarebbe diventata SB1. Non era ancora collegato all'API, ma ci ha permesso di sperimentare con le scelte di design e la disposizione dei pulsanti, prima che il nostro brillante team realizzasse l'interfaccia e il codice finali.

Volevamo contenuti dinamici: qualsiasi suono, generato al momento. Il cuore della nostra soluzione è l'API SFX di ElevenLabs. L'API è accessibile tramite un unico endpoint:

POST https://api.elevenlabs.io/v1/sound-generation

Invii un payload JSON con il prompt, il numero di variazioni desiderate (per impostazione predefinita sono quattro) e la chiave API nell'header Authorization.

La risposta restituisce un array di URL che puntano a file WAV generati. Da lì, puoi riprodurli in streaming o scaricarli e assegnare ogni clip a un pad. Puoi anche impostare la riproduzione in loop. Usa prompt descrittivi per ottenere più dettagli.

Una richiesta di esempio è questa:

{
  "prompt": "rain hitting the roof of a tent",
  "n": 4,
  "format": "wav"
}

Riceverai un array di quattro URL. Abbiamo progettato l'API affinché si adatti a qualsiasi caso d'uso, dalla creazione estemporanea di soundboard alla generazione in blocco di asset per giochi.

Creare l'interfaccia di SB1

Con l'API pronta, siamo passati al front-end. SB1 è un'app web realizzata con React e Tailwind CSS. Ogni componente pad ha due modalità:

1. Preset: carica un set salvato di URL audio
2. Personalizzata: generata dall'utente tramite l'API SFX

Quando fai clic su un pad vuoto in modalità personalizzata, viene visualizzata una finestra di dialogo per il prompt. Inserisci la descrizione, premi Genera e l'API restituisce quattro opzioni. Puoi ascoltarle direttamente, scegliere la tua preferita e il pad si aggiorna subito. Le associazioni da tastiera ti permettono di attivare i pad con la pressione dei tasti, così puoi suonare ritmi o riprodurre segnali sonori dal vivo.

Abbiamo aggiunto anche i controlli per il loop. Ti basta premere il pulsante del loop, toccare il suono che vuoi ripetere e continuerà a suonare finché non lo rilasci. Così SB1 è utile non solo per divertirsi — pensa a drum machine e atmosfere ambientali — ma anche per podcast, segnali sonori per livestream e meditazioni guidate.

Esempi in azione

Paesaggio sonoro ambientale

• Pioggia leggera: "pioggia leggera che gocciola sulle foglie"

• Pioggia intensa: "pioggia intensa che cade su un tetto di lamiera"

• Onde del mare: onde leggere che si infrangono sulla riva

Abbiamo generato ciascuno inviando prompt come “pioggia leggera che gocciola sulle foglie” e “onde leggere che si infrangono sulla riva”. Poi abbiamo impostato quei pad in loop, creando uno sfondo per concentrarsi o meditare.

Drum machine

• Cassa 808: "cassa 808 con bassi molto profondi"

• Colpo di rullante: "secco schiocco di rullante"

• Piatto aperto: "piatto aperto che risuona"

Non ti servono campioni audio da una libreria di batteria. Ti basta descrivere “cassa 808 con bassi molto profondi” o “secco schiocco di rullante” e l'API ti offre quattro versioni da ascoltare. Le abbiamo associate ai tasti A, S e D per una demo di esibizione dal vivo.

Se vuoi davvero mettere alla prova il modello, puoi usarlo anche per creare brevi frammenti vocali con la voce di un personaggio. Ti basta specificare il personaggio e poi inserire le parole tra virgolette.

• DJ super carico: DJ super carico che dice "Iniziamo la festa"

• Orco in missione: Orco con voce roca che dice: "Questa stanza ha superato la capienza"

• Canto di sirena: Voce femminile inquietante che canta: "È ora di tornare a casa a dormire, la festa è finita"

Preset personalizzati

Puoi salvare e dare un nome ai tuoi preset, ad esempio “Effetti per livestream” con sussulti, risate e applausi. Dopo aver creato la tua soundboard, fai clic su Condividi per copiare un link o pubblicare direttamente sui social media. Chiunque abbia il link può caricare la configurazione di SB1 e riprodurre i suoni che hai selezionato.

Punti chiave per gli sviluppatori

• Generazione stateless: ogni chiamata API è indipendente. Non devi gestire una pipeline di addestramento né archiviare grandi librerie di campioni: ti basta mettere in cache gli URL che usi nella tua UI.
• Bassa latenza: il tempo di generazione tipico è inferiore a due secondi, quindi sembra istantaneo quando mostri la funzionalità in una demo.
• Scalabile: puoi generare in batch centinaia di suoni in parallelo e poi archiviarli nel tuo CDN per gestire un traffico elevato.
• Formati flessibili: WAV per la massima fedeltà, MP3 se ti servono file più piccoli.

Per iniziare, consulta la nostra documentazione. Troverai esempi di codice in JavaScript, Python e cURL che mostrano come integrare l'API SFX nei tuoi progetti.

Cosa ci aspetta?

SB1 è solo una delle demo di ciò che può fare il nostro modello per gli effetti sonori. Stiamo esplorando plugin per OBS e workstation audio digitali, così puoi generare nuovi suoni senza uscire dal software che usi per lo streaming o la produzione. Stiamo anche ottimizzando il modello per migliorare le prestazioni con prompt relativi alla musica, come percussioni esotiche o texture di sintetizzatore.

Se crei qualcosa di interessante, vogliamo vederlo. Taggaci sui social media o condividi il link al tuo preset. Che tu sia uno streamer, un podcaster, uno sviluppatore di giochi o semplicemente ami sperimentare con il suono, SB1 e l'API SFX mettono una creatività audio illimitata a portata di mano.

Provalo gratis oggi — non serve alcuna libreria di MP3.