SFX v3 für Entwickler vorgestellt

Heute veröffentlichen wir SFX v3, unser neuestes Soundeffektmodell in der Sound-Effects-API. Es folgt Prompts mit mehreren Anweisungen genauer als SFX v2 und verarbeitet Gesang und Musik besser. Zum Testen setzen Sie model_id im POST-Endpunkt /v1/sound-generation auf eleven_text_to_sound_v3.

Modell-ID

Um auf das neue Modell zu aktualisieren, ändern Sie einfach die Modell-ID:

from elevenlabs import ElevenLabs

elevenlabs = ElevenLabs()

audio = elevenlabs.text_to_sound_effects.convert(
    text="Football crowd cheering, hearing a ball drop, crowd booing",
    model_id="eleven_text_to_sound_v3",
)

Das Modell wählt die Länge des Soundeffekts anhand des Prompts. Wenn Sie ein bestimmtes Timing benötigen, setzen Sie duration_seconds auf die gewünschte Dauer.

Wenn die Ausgaben von Ihren Vorgaben abweichen, erhöhen Sie prompt_influence über den Standardwert von 0,3. Höhere Werte folgen dem Prompt genauer und unterscheiden sich weniger zwischen den Generierungen. Der Abfrageparameter output_format legt Codec und Abtastrate fest, etwa mp3_44100_128 oder pcm_48000.

Looping funktioniert derzeit nur mit eleven_text_to_sound_v2. Wenn Sie es für Ihre Anfrage benötigen, verwenden Sie weiterhin das v2-Modell mit loop: true.

So formulieren Sie Prompts

SFX v3 eignet sich hervorragend für mehrteilige Soundeffekte. Um das Beste aus dem Modell herauszuholen, ist die Reihenfolge der Prompts wichtig. Listen Sie Ereignisse in der Reihenfolge auf, in der sie passieren sollen, zum Beispiel: „Schritte auf Kies, dann öffnet sich eine Metalltür.“ Für einen einzelnen Sound funktioniert ein kurzer, konkreter Prompt am besten.

Auch die Formulierung ist wichtig. Einer unserer Tester stellte fest, dass „ein Paar streitet sich auf Französisch“ deutlich besser funktionierte als „ein Paar kämpft auf Französisch“. Probieren Sie verschiedene Formulierungen desselben Ereignisses aus, bevor Sie sich für eine entscheiden.

Beide Modelle testen

SFX v3 ist ein schrittweises Update. Bei hochfrequenten Sounds wie Gongs, Glöckchen und Teekesselpfiffen kommt es seltener zu Clipping. Unser Engineering-Team sagt zudem, dass es insgesamt natürlicher klingt.

Da beide Modelle über denselben Endpunkt laufen, ist ein A/B-Test günstig. Führen Sie Ihre häufigsten Prompts mit v2 und v3 aus, um die Ergebnisse zu vergleichen, bevor Sie wechseln.

SFX v3 testen

In der API-Referenz „Soundeffekt erstellen“ finden Sie die vollständige Parameterliste. Senden Sie anschließend Ihre erste v3-Anfrage. Wenn Sie Ihre Soundeffekte lieber hören möchten, bevor Sie Code schreiben, finden Sie sie auch im Tab „Soundeffekte“, in Flows und in Studio in ElevenCreative.