Przedstawiamy SFX v3 dla deweloperów

Dziś udostępniamy SFX v3, nasz najnowszy model efektów dźwiękowych w API Sound Effects. Lepiej niż SFX v2 radzi sobie z promptami zawierającymi wiele instrukcji oraz z wokalami i muzyką. Aby go wypróbować, ustaw model_id na eleven_text_to_sound_v3 w endpoincie POST /v1/sound-generation.

ID modelu

Aby przejść na nowy model, po prostu zmień ID modelu:

from elevenlabs import ElevenLabs

elevenlabs = ElevenLabs()

audio = elevenlabs.text_to_sound_effects.convert(
    text="Football crowd cheering, hearing a ball drop, crowd booing",
    model_id="eleven_text_to_sound_v3",
)

Model dobiera długość efektu dźwiękowego na podstawie promptu. Jeśli potrzebujesz konkretnego czasu trwania, ustaw duration_seconds na wybraną wartość.

Jeśli wyniki odbiegają od tego, o co prosisz, zwiększ prompt_influence powyżej domyślnej wartości 0.3. Wyższe wartości sprawiają, że model dokładniej trzyma się promptu, a wyniki mniej różnią się między generacjami. Parametr zapytania output_format określa kodek i częstotliwość próbkowania, na przykład mp3_44100_128 lub pcm_48000.

Zapętlanie działa obecnie tylko z eleven_text_to_sound_v2, więc jeśli potrzebujesz go w swoim żądaniu, użyj modelu v2 z loop: true.

Jak tworzyć prompty

SFX v3 świetnie radzi sobie z wieloczęściowymi efektami dźwiękowymi. Aby w pełni wykorzystać model, ważna jest kolejność promptów. Wymieniaj zdarzenia w kolejności, w której mają się wydarzyć, na przykład: „Kroki na żwirze, potem otwierają się metalowe drzwi”. Dla pojedynczego dźwięku najlepiej sprawdzi się krótki, konkretny prompt.

Sformułowanie też ma znaczenie. Jeden z naszych testerów zauważył, że „para kłócąca się po francusku” działało znacznie lepiej niż „para walcząca po francusku”. Wypróbuj kilka wersji opisu tego samego zdarzenia, zanim wybierzesz jedną.

Przetestuj oba modele

SFX v3 to stopniowe ulepszenie. Rzadziej ucina dźwięki o wysokiej częstotliwości, takie jak gongi, dzwonki i gwizdki czajnika, a według naszego zespołu inżynierów ogólnie brzmi bardziej naturalnie.

Ponieważ oba modele działają na tym samym endpoincie, test A/B jest tani. Przetwórz najczęstsze prompty w v2 i v3, aby porównać wyniki przed zmianą.

Wypróbuj SFX v3

Sprawdź dokumentację API Create sound effect, aby poznać pełną listę parametrów, a potem wyślij pierwsze żądanie v3. Jeśli wolisz najpierw usłyszeć efekty dźwiękowe przed pisaniem kodu, znajdziesz je też w zakładce Sound Effects, Flows i Studio w ElevenCreative.