Jak stworzyliśmy soundboard z użyciem ElevenLabs SFX API

Wyobraź sobie soundboard, który na żądanie generuje nieograniczoną liczbę dźwięków. Właśnie to stworzyliśmy w ElevenLabs — poznaj SB1, nasz nieskończony soundboard. Na pierwszy rzut oka wygląda jak typowa siatka padów uruchamianych kliknięciami lub skrótami klawiszowymi. Pod spodem działa nasz model audio AI do generowania efektów dźwiękowych z tekstu.

Wystarczy, że opiszesz dowolny dźwięk, jaki przyjdzie ci do głowy, a SB1 go wygeneruje. Są też gotowe domyślne dźwięki, ale nawet je możesz zastąpić własnymi.

Od pomysłu do prototypu

Zaczęliśmy od prostego pytania: a gdyby można było wpisać opis, taki jak „delikatne dźwięki lasu w tle” albo „dramatyczne westchnienie publiczności”, i od razu dostać gotowy do użycia efekt dźwiękowy?

Tradycyjne soundboardy korzystają ze statycznych bibliotek MP3, których trzeba szukać w sieci. Nawet jeśli znajdziesz odpowiedni dźwięk, często nie jest „dokładnie” tym, czego chcesz. Dzięki generatywnej AI to już nie problem. Nie ogranicza cię już nic.

Zanim przeszliśmy do kodu, użyliśmy Lovable, aby stworzyć prosty prototyp tego, co miało stać się SB1. Nie był jeszcze połączony z API, ale pozwolił nam przetestować wybory projektowe i rozmieszczenie przycisków, zanim nasz świetny zespół stworzył finalny interfejs i kod.

Chcieliśmy dynamicznej treści — dowolnego dźwięku generowanego w locie. Sercem naszego rozwiązania jest ElevenLabs SFX API. API działa pod jednym endpointem:

POST https://api.elevenlabs.io/v1/sound-generation

Wysyłasz dane JSON z promptem, liczbą wariantów, które chcesz otrzymać (domyślnie są cztery), oraz kluczem API w nagłówku Authorization.

W odpowiedzi dostajesz tablicę adresów URL prowadzących do wygenerowanych plików WAV. Możesz je stamtąd odtwarzać strumieniowo lub pobrać i przypisać każdy klip do pada. Możesz też włączyć zapętlenie. Używaj opisowych promptów, aby uzyskać więcej szczegółów.

Przykładowe żądanie wygląda tak:

{
  "prompt": "rain hitting the roof of a tent",
  "n": 4,
  "format": "wav"
}

W odpowiedzi otrzymasz tablicę czterech adresów URL. Zaprojektowaliśmy API tak, by skalowało się do każdego zastosowania — od szybkiego tworzenia soundboardów po masowe generowanie zasobów do gier.

Tworzenie interfejsu SB1

Gdy API było gotowe, zajęliśmy się front-endem. SB1 to aplikacja webowa zbudowana w React i Tailwind CSS. Każdy pad ma dwa tryby:

1. Preset: wczytuje zapisany zestaw adresów URL dźwięków
2. Własny: generowany przez użytkownika za pomocą SFX API

Gdy klikniesz pusty pad w trybie własnym, pojawi się okno promptu. Wpisujesz opis, klikasz Generuj, a API zwraca cztery opcje. Odsłuchujesz je na miejscu, wybierasz ulubioną, a pad od razu się aktualizuje. Przypisania klawiszy pozwalają uruchamiać pady klawiaturą, więc możesz grać rytmy lub odtwarzać sygnały dźwiękowe na żywo.

Dodaliśmy też sterowanie zapętleniem. Wystarczy nacisnąć przycisk pętli, kliknąć dźwięk, który chcesz zapętlić, a będzie odtwarzany, dopóki go nie zwolnisz. Dzięki temu SB1 przydaje się nie tylko do żartów — pomyśl o automatach perkusyjnych i ambientowych tłach — lecz także do podcastów, sygnałów dźwiękowych podczas livestreamów i medytacji z przewodnikiem.

Przykłady w użyciu

Ambientowy pejzaż dźwiękowy

• Lekki deszcz: „lekki deszcz kapiący na liście”

• Ulewny deszcz: „ulewny deszcz padający na blaszany dach”

• Fale oceanu: delikatne fale rozbijające się o brzeg

Wygenerowaliśmy je, wysyłając prompty takie jak „lekki deszcz kapiący na liście” i „delikatne fale rozbijające się o brzeg”. Potem ustawiliśmy te pady na zapętlanie, tworząc tło do skupienia lub medytacji.

Automat perkusyjny

• Stopa 808: „bardzo basowa stopa 808”

• Uderzenie werbla: „krótki, wyrazisty werbel”

• Otwarty talerz: „wybrzmiewający otwarty talerz”

Nie potrzebujesz sampli audio z biblioteki perkusyjnej. Wystarczy opisać „bardzo basową stopę 808” lub „krótki, wyrazisty werbel”, a API da ci cztery wersje do odsłuchania. Przypisaliśmy je do klawiszy A, S i D na potrzeby dema występu na żywo.

Jeśli chcesz naprawdę sprawdzić możliwości modelu, możesz też tworzyć krótkie kwestie głosowe brzmiące jak postać. Wystarczy określić postać, a potem wpisać słowa w cudzysłowie.

• Nakręcony DJ: Nakręcony DJ mówi: „Zaczynajmy imprezę”

• Ork z misją: Ork mówi szorstkim głosem: „W tym pokoju jest za dużo osób”

• Pieśń syreny: Nawiedzający kobiecy wokal śpiewa: „Czas wracać do domu spać, impreza się skończyła”

Własne presety

Możesz zapisywać i nazywać własne presety — na przykład „Livestream FX” z westchnieniem, śmiechem i oklaskami. Gdy utworzysz soundboard, kliknij Udostępnij, aby skopiować link lub opublikować go bezpośrednio w mediach społecznościowych. Każdy, kto ma link, wczyta twoją konfigurację SB1 i odtworzy wybrane przez ciebie dźwięki.

Wnioski dla deweloperów

• Generowanie bez stanu: każde wywołanie API jest niezależne. Nie musisz zarządzać procesem trenowania ani przechowywać dużych bibliotek sampli — po prostu buforuj adresy URL używane w interfejsie.
• Niskie opóźnienie: typowy czas generowania to mniej niż dwie sekundy, więc podczas prezentacji funkcji wydaje się natychmiastowy.
• Skalowalność: możesz równolegle generować partiami setki dźwięków, a potem przechowywać je we własnym CDN na potrzeby dużego ruchu.
• Elastyczne formaty: WAV dla najwyższej jakości, MP3, jeśli potrzebujesz mniejszych plików.

Aby zacząć, zobacz naszą dokumentację. Znajdziesz tam przykłady kodu w JavaScript, Pythonie i cURL, które pokazują, jak zintegrować SFX API ze swoimi projektami.

Co dalej?

SB1 to tylko jedno demo możliwości naszego modelu efektów dźwiękowych. Sprawdzamy wtyczki do OBS i cyfrowych stacji roboczych audio, aby umożliwić ci generowanie nowych dźwięków bez wychodzenia z oprogramowania do streamingu lub produkcji. Dopracowujemy też model, by lepiej radził sobie z promptami związanymi z muzyką — na przykład egzotyczną perkusją czy teksturami syntezatorów.

Jeśli stworzysz coś fajnego, chcemy to zobaczyć. Oznacz nas w mediach społecznościowych lub udostępnij link do swojego presetu. Nieważne, czy jesteś streamerem, podcasterem, deweloperem gier, czy po prostu lubisz bawić się dźwiękiem — SB1 i SFX API dają ci nieograniczone możliwości audio na wyciągnięcie ręki.

Wypróbuj za darmo już dziś — bez biblioteki MP3.