Vi presenterar SFX v3 för utvecklare

I dag släpper vi SFX v3, vår senaste modell för ljudeffekter i Sound Effects API. Den följer prompter med flera instruktioner bättre än SFX v2 och hanterar sång och musik bättre. För att testa den anger du model_id till eleven_text_to_sound_v3 på POST-slutpunkten /v1/sound-generation.

Modell-ID

För att uppdatera till den nya modellen behöver du bara uppdatera modell-ID:t:

from elevenlabs import ElevenLabs

elevenlabs = ElevenLabs()

audio = elevenlabs.text_to_sound_effects.convert(
    text="Football crowd cheering, hearing a ball drop, crowd booing",
    model_id="eleven_text_to_sound_v3",
)

Modellen väljer ljudeffektens längd utifrån prompten. Om du behöver exakt tidsangivelse ställer du in duration_seconds på önskad tid.

Om resultatet avviker från det du bad om höjer du prompt_influence över standardvärdet 0.3. Högre värden följer prompten närmare och varierar mindre mellan genereringar. Frågeparametern output_format anger codec och samplingsfrekvens, till exempel mp3_44100_128 eller pcm_48000.

Loopning fungerar för närvarande bara med eleven_text_to_sound_v2, så om du behöver det för din förfrågan ska du använda v2-modellen med loop: true.

Så skriver du prompter

SFX v3 är bra på flerdelade ljudeffekter. För att få ut det mesta av modellen spelar ordningen i prompten roll. Lista händelser i den ordning de ska ske, till exempel: ”Fotsteg på grus, sedan öppnas en metalldörr.” För ett enskilt ljud fungerar en kort, konkret prompt bäst.

Formuleringen spelar också roll. En av våra testare upptäckte att ”ett par som grälar på franska” fungerade mycket bättre än ”ett par som bråkar på franska”. Prova några olika formuleringar av samma händelse innan du bestämmer dig.

Testa båda modellerna

SFX v3 är en stegvis uppdatering. Risken att ljud med höga frekvenser, som gongar, klockspel och vattenkokarvisslor, klipper är mindre, och vårt ingenjörsteam säger att den låter mer naturlig överlag.

Eftersom båda modellerna körs på samma slutpunkt är ett A/B-test billigt. Kör dina vanligaste prompter genom både v2 och v3 för att jämföra resultaten innan du byter.

Testa SFX v3

Se API-referensen för att skapa ljudeffekter för hela parameterlistan och skicka sedan din första v3-förfrågan. Om du hellre vill höra dina ljudeffekter innan du skriver kod finns de också på fliken Sound Effects, i Flows och Studio i ElevenCreative.