ProdukteSynchronisierung

Synchronisationsstudio

Detaillierte Kontrolle über Ihre Synchronisationen.

Das Synchronisationsstudio befindet sich im Wartungsmodus. Es erhält weiterhin nur kritische Fehlerbehebungen, neue Funktionen sind nicht geplant. Bestehende Kunden des Synchronisationsstudios behalten uneingeschränkten Zugriff.

Projekt im Synchronisationsstudio erstellen

  1. Wählen Sie Dubbing v1 als Modell und dann Dubbing project aus.
  2. Klicken Sie auf Create Dub. Sobald das Projekt im Synchronisationsstudio erstellt wurde, können Sie es öffnen.

Grundlegende Konzepte

Sprecherkarten

Sprecherkarten im Synchronisationsstudio

Sprecherkarten zeigen die Originaltranskription und die Übersetzung (falls Sie eine hinzufügen) von Dialogen aus dem Quellvideo. Klicken Sie auf „Transcribe Audio“, um die Originalsprache erneut zu transkribieren, oder auf den Pfeil, um eine vorhandene Transkription erneut zu übersetzen.

Transkripte und Übersetzungen bearbeiten

Sowohl Transkriptionen als auch Übersetzungen können frei bearbeitet werden. Klicken Sie einfach in eine Sprecherkarte und beginnen Sie mit der Texteingabe.

Sprecheridentifikation

Den Namen jedes Sprechers sehen Sie oben links auf der Sprecherkarte. Um den Namen eines Sprechers zu ändern oder einen Clip einem anderen Sprecher zuzuweisen, müssen Sie die Timeline verwenden.

Timeline

Die Timeline enthält viele wichtige Elemente des Synchronisationsstudios, die in den folgenden Abschnitten genauer erläutert werden:

Grundlegende Navigation

Es gibt drei Hauptwege, um in der Timeline zu navigieren:

  1. Klicken und ziehen Sie den Cursor.
  2. Scrollen Sie horizontal.
  3. Geben Sie rechts in der Timeline einen bestimmten Timecode ein.

Clips anpassen und Audio neu generieren

  1. Ziehen Sie die Griffe auf der linken oder rechten Seite eines Clips, um seine Länge anzupassen.
  2. Klicken Sie auf das Aktualisierungssymbol, um das Audio für diesen Clip neu zu generieren.

Anpassen und neu generieren im Synchronisationsstudio

Dynamische vs. feste Generierungen

HINWEIS: Standardmäßig sind alle Neugenerierungen im Synchronisationsstudio feste Generierungen. Das bedeutet, dass das System die Dauer des Clips unabhängig von der enthaltenen Textmenge beibehält. Wenn Sie die Länge eines Clips ändern, ohne den Text anzupassen, oder einem Clip viele Wörter hinzufügen bzw. daraus entfernen, kann die Sprache dadurch deutlich schneller oder langsamer werden.

Stellen Sie sich einen Clip mit dem Satz „Mir geht es gut.“ vor. Wenn dieser Clip zehn Sekunden dauern und das Audio mit festen Generierungen erstellt würde, klänge die Sprache langsam und gedehnt.

Alternativ können Sie dynamische Generierungen verwenden, indem Sie mit der rechten Maustaste auf ein Segment klicken und die Option auswählen. Dabei wird versucht, die Länge des Clips an die Textlänge anzupassen, damit das Audio natürlicher klingt.

Seien Sie jedoch vorsichtig: Dynamische Generierungen können die Synchronität und das Timing Ihrer Videos beeinträchtigen. Wenn Sie beispielsweise für einen Clip mit vielen Wörtern dynamische Generierung auswählen und vor dem nächsten Clip nicht genug Platz für die erforderliche Ausdehnung vorhanden ist, wird das Audio möglicherweise nicht korrekt generiert.

Dynamische Generierung im Synchronisationsstudio

Veraltetes Audio

Veraltetes Audio muss aus einem von vielen Gründen neu generiert werden, etwa wegen Änderungen an Clip-Länge, Einstellungen oder Transkription bzw. Übersetzung. Sie können veraltete Clips einzeln neu generieren oder auf „Generate Stale Audio“ klicken, um alle veralteten Audioclips gesammelt zu generieren.

Clip-Verlauf

Klicken Sie mit der rechten Maustaste auf einen Clip und wählen Sie „Clip History“, um frühere Generierungen anzuzeigen und die am besten klingende auszuwählen.

Clips teilen und zusammenführen

  1. Um einen Clip zu teilen, bewegen Sie den Cursor zu einem bestimmten Timecode und klicken auf „Split“.
  2. Um zwei Clips zusammenzuführen, ziehen Sie die Enden der Clips zusammen und klicken auf „Merge“.

Zusammenführen im Synchronisationsstudio

Wenn Sie Clips teilen und zusammenführen, werden die Sprecherkarten über der Timeline entsprechend aktualisiert.

Clips anderen Sprechern zuweisen

Um Clips einem anderen Sprecher zuzuweisen, klicken Sie auf das Segment und ziehen es auf eine andere Spur.

Clips im Synchronisationsstudio neu zuweisen

Weitere Audiospuren hinzufügen

Verwenden Sie die Aktionsschaltflächen am unteren Rand der Timeline, um neue Audiospuren hinzuzufügen.

Spuren im Synchronisationsstudio hinzufügen

Stimmeinstellungen

Stimmauswahl

Um die Stimme auszuwählen, die für die Audiogenerierung auf einer bestimmten Sprecherspur verwendet wird, klicken Sie links in der Timeline neben dem Sprechernamen auf das Zahnradsymbol.

Im Synchronisationsstudio gibt es drei Haupttypen von Stimmen:

  1. Clip-Klon – erstellt für jeden Clip einen einzigartigen Stimmenklon, basierend auf dem Quellaudio dieses Clips.
  2. Spurenklon – erstellt einen einzelnen Stimmenklon für die gesamte Spur, basierend auf dem gesamten Quellaudio eines Sprechers.
  3. Andere Stimmen – Sie können auch aus Tausenden Stimmen in unserer Stimmbibliothek wählen, jeweils mit detaillierten Metadaten und Tags, die Ihnen bei der Auswahl helfen.

Sie können eine Stimme aus einem bestimmten Clip auch erstellen, speichern und wiederverwenden. Klicken Sie dazu mit der rechten Maustaste auf den Clip und wählen Sie „Create Voice from Selection“.

Einstellungen auf Spur- und Clip-Ebene

Sie können Stimmeinstellungen auf zwei Ebenen festlegen:

  1. Spur-Ebene – Änderungen gelten für alle Clips in der Spur und können Stabilität sowie Konsistenz verbessern.

  2. Clip-Ebene – Änderungen gelten nur für einen bestimmten Clip. Verwenden Sie für Einstellungen auf Clip-Ebene das Bedienfeld auf der rechten Seite der Timeline. Deaktivieren Sie den Schalter „inherit track settings“ und konfigurieren Sie die gewünschten Einstellungen.

Stimmeinstellungen im Synchronisationsstudio

Exporte

Klicken Sie unten rechts im Synchronisationsstudio auf „Export“, um das Exportmenü zu öffnen.

Das Synchronisationsstudio unterstützt derzeit folgende Exportformate:

  • AAC (Audio)
  • MP3 (Audio)
  • WAV (Audio)
  • .zip mit Audiospuren
  • .zip mit Audioclips
  • AAF (Timeline-Daten)
  • SRT (Untertitel)
  • CSV (speaker, start_time, end_time, transcription, translation)
Stellen Sie beim Export sicher, dass Sie die richtige Sprache auswählen.

Zusätzliche Funktionen

  • Voiceover-Spuren: Voiceover-Spuren erstellen neue Sprecher. Sie können auf der Timeline an beliebiger Stelle klicken und Clips hinzufügen. Nachdem Sie einen Clip erstellt haben, schreiben Sie den gewünschten Text in die Sprecherkarten darüber. Sie müssen diesen Text zunächst übersetzen und können dann auf „Generate“ klicken. Sie können auch unser Tool zur Stimmverzerrung verwenden: Klicken Sie dazu auf das Mikrofonsymbol auf der rechten Bildschirmseite, verwenden Sie Ihre eigene Stimme und wandeln Sie sie anschließend in die ausgewählte Stimme um.
  • SFX-Spuren: Fügen Sie eine SFX-Spur hinzu und klicken Sie dann an einer beliebigen Stelle auf dieser Spur, um einen SFX-Clip zu erstellen. Ähnlich wie bei unserer eigenständigen SFX-Funktion geben Sie Ihren Prompt einfach in die Sprecherkarte darüber ein und klicken auf „Generate“, um neues SFX-Audio zu erstellen. Sie können SFX-Clips verlängern oder kürzen und sie frei auf Ihrer Timeline verschieben, damit sie zu Ihrem Projekt passen. Klicken Sie anschließend unbedingt auf die Schaltfläche „stale“.
  • Audio hochladen: Mit dieser Option können Sie eine Spur ohne Sprache hochladen, etwa Soundeffekte, Musik oder eine Hintergrundspur. Beachten Sie: Wenn diese Spur Stimmen enthält, werden sie nicht erkannt. Sie können daher nicht übersetzt oder korrigiert werden.

Manuelle Synchronisation

Wenn Sie bereits ein präzises Synchronisationsskript vorbereitet haben und sicherstellen möchten, dass Ihr Projekt im Synchronisationsstudio genau Ihren Clips und Sprecherzuweisungen entspricht, können Sie beim Erstellen die Option Manual mode auswählen.

Um eine manuelle Synchronisation zu erstellen, benötigen Sie:

  1. Videodatei
  2. Hintergrund-Audiodatei
  3. Vordergrund-Audiodatei
  4. CSV-Datei, in der jede Zeile die Felder speaker, start_time, end_time, transcription und translation enthält

Die CSV-Datei muss für die korrekte Verarbeitung genau dem vordefinierten Format entsprechen. Nachfolgend finden Sie Beispiele für die drei unterstützten Timecodes:

  • Sekunden
  • Stunden:Minuten:Sekunden:Frames
  • Stunden:Minuten:Sekunden,Millisekunden

Beispiel-CSV-Dateien

speaker,start_time,end_time,transcription,translation
Adam,"0.10000","1.15000","Hello, how are you?","Hola, ¿cómo estás?"
Adam,"1.50000","3.50000","I'm fine, thank you.","Estoy bien, gracias."
speakerstart_timeend_timetranscriptiontranslation
Joe0:00:00.0000:00:02.000Hey!Hallo!
Maria0:00:02.0000:00:06.000Oh, hallo, Joe. Es ist schon eine Weile her.Oh, hallo, Joe. Es ist schon eine Weile her.
Joe0:00:06.0000:00:11.000Ja, ich weiß. War beschäftigt.Ja, ich weiß. War beschäftigt.
Maria0:00:11.0000:00:17.000Ja? Was hast du gemacht?Ja? Was hast du gemacht?
Joe0:00:17.0000:00:23.000Hauptsächlich gereist.Hauptsächlich gereist.
Maria0:00:23.0000:00:30.000Oh, irgendwo, das ich kenne?Oh, irgendwo, das ich kenne?
Joe0:00:30.0000:00:36.000Spanien.Spanien.

FAQ

Dubbing Studio befindet sich im Wartungsmodus und erhält nur kritische Fehlerbehebungen.

Ein Track-Klon ist ein Stimmklon, der aus der gesamten Spur eines Synchronisationsprojekts abgeleitet wird. Der Stimmklon wird also aus einer Kombination aller Clips auf dieser Spur erstellt. Dies ist das Standardverhalten und eignet sich gut für Stimmklone, die Eigenschaften aller kombinierten Clips enthalten. In der Regel erhält die KI dabei genügend Daten, um einen brauchbaren Klon zu erstellen. Wenn sich die Stimme im Verlauf jedoch stark verändert, kann der resultierende Stimmklon etwas instabiler sein.

Ein Clip-Klon hingegen ist ein Stimmklon, der aus einem bestimmten Clip auf einer Spur abgeleitet wird. Damit können Sie aus bestimmten Clips verschiedene Stimmklone erstellen und dieselbe Stimme anderen Clips zuweisen, für die Sie diese Tonalität oder Darbietung wünschen. Das ist hilfreich, wenn eine bestimmte Spur genau die gewünschte Darbietung enthält und Sie diese auch auf andere Clips oder vielleicht auf die gesamte Spur anwenden möchten.

Ein hilfreicher Tipp: Suchen Sie einen Clip, dessen Stimme Ihnen gefällt, klicken Sie mit der rechten Maustaste darauf, um einen Klon aus diesem Clip zu erstellen, und weisen Sie diesen Klon dann der gesamten Spur zu. So erhalten Sie eine einheitliche Stimme. Dies ist nur ein Tipp und funktioniert nicht in allen Fällen, kann aber in manchen Situationen sehr gut funktionieren.

Standardmäßig wird beim Erstellen einer neuen Synchronisation unser neuestes Modell Dubbing v2 verwendet. Mit dem v2-Modell erstellte Synchronisationen sind automatisch. Es gibt keine Option, Inhalte in der App zu bearbeiten. Die Transkriptbearbeitung und Audioregeneration über die API sind nur in Enterprise-Tarifen verfügbar.

Wenn Sie Dubbing Studio verwenden möchten, wählen Sie Dubbing v1 als Modell und anschließend Dubbing project.

Eine bestehende automatische Synchronisation kann nicht in ein Dubbing-Projekt umgewandelt werden.

Das neue Synchronisationsprojekt erscheint oben in Ihrer Liste der Synchronisationsprojekte und durchläuft während der Generierung verschiedene Phasen.

Nach Abschluss der Verarbeitung klicken Sie auf das Drei-Punkte-Symbol und wählen Edit, um Ihr Synchronisationsprojekt zu öffnen.

Weitere Informationen zu Dubbing Studio finden Sie in unserer Übersicht.

Standardmäßig wird beim Erstellen einer neuen Synchronisation unser neuestes Modell Dubbing v2 verwendet. Mit dem v2-Modell erstellte Synchronisationen sind automatisch. Für Dubbing v2 gibt es keine Schaltfläche zum Bearbeiten in der App.

Die Schaltfläche zum Bearbeiten ist nur bei Dubbing Studio verfügbar, das wiederum nur für unser älteres Dubbing-Modell v1 verfügbar ist. Um Dubbing Studio zu verwenden, wählen Sie Dubbing v1 als Modell und anschließend Dubbing project.

Bei Dubbing v2 können Sie Transkripte bearbeiten und Audio über die API regenerieren, jedoch nur in Enterprise-Tarifen.

Hinweis: Dubbing Studio befindet sich im Wartungsmodus und erhält nur kritische Fehlerbehebungen.

Wenn Sie synchronisierte Audio- oder Videodateien nicht herunterladen können, versuchen Sie es mit einem anderen Browser und deaktivieren Sie Werbeblocker und Pop-up-Blocker.

Dieses Problem wird am häufigsten für den Browser Brave gemeldet, kann aber auch in anderen Browsern auftreten. In den meisten Fällen lässt sich das Problem durch einen Browserwechsel oder das Deaktivieren von Blockern beheben.

Wenn Sie Ihren Tarif herabstufen oder Ihr Abonnement vollständig kündigen, können Sie kostenpflichtige Funktionen wie Instant Voice Cloning und Professional Voice Cloning nicht mehr nutzen. Zum Zeitpunkt der Erstellung dieses Textes löschen wir jedoch keine Ihrer Daten. Sie sind weiterhin verfügbar, wenn Sie später wieder upgraden möchten.

Derzeit bietet ElevenLabs keine Lippensynchronisation als Teil von Dubbing an. Lippensynchronisation ist über Drittanbieter-Modelle in Bild & Video, Flows und Studio verfügbar.

Dubbing wird pro Minute des Quellmediums und für jede Zielsprache berechnet. Der genaue Preis hängt vom verwendeten Dubbing-Modell ab. Details finden Sie auf der Preisseite. In der App wird Ihnen der Gesamtpreis zur Bestätigung angezeigt, bevor eine Synchronisation startet.

Für ein mit der Dubbing API erstelltes Synchronisationsprojekt wird mindestens eine Sprache berechnet. Beim Erstellen eines Projekts wird die Synchronisation für eine Sprache basierend auf der Dauer der Quelle vorab berechnet. Damit ist Ihre erste Zielsprache bereits bezahlt:

  • Die Berechnung erfolgt beim Erstellen des Projekts, während die Quelle vorbereitet wird – nicht beim Hinzufügen der ersten Sprache.
  • Die erste Sprache, die Sie hinzufügen (oder die Sie beim Erstellen des Projekts mit target_language in die Warteschlange einreihen), nutzt diese Vorauszahlung, statt zusätzliche Kosten zu verursachen.
  • Jede weitere Sprache wird separat berechnet, wenn Sie sie in die Warteschlange einreihen.

Umgang mit Fehlern

  • Wenn ein Projekt nicht vorbereitet werden kann – etwa weil die Quelle nicht transkribiert werden kann –, wird die Erstellungsgebühr erstattet.
  • Wenn eine zusätzliche Sprache nicht generiert werden kann, wird die entsprechende Gebühr erstattet.
  • Die erste Sprache ist durch die Erstellungsgebühr des Projekts vorausbezahlt. Falls sie nicht generiert werden kann, wird die Erstellungsgebühr nicht erstattet. Die Vorauszahlung geht jedoch nicht verloren: Sie bleibt verfügbar, sodass ein erneuter Versuch für diese Sprache im selben Projekt keine zusätzlichen Kosten verursacht.
  • Das Löschen eines Projekts oder einer Sprache erstattet keine bereits laufende Synchronisation.

Dubbing ist in allen unseren Tarifen verfügbar, einschließlich des kostenlosen Tarifs. In kostenlosen Tarifen generierte Synchronisationen werden automatisch mit einem Wasserzeichen versehen, das nicht entfernt werden kann. In unseren kostenpflichtigen Abonnements gibt es keine Wasserzeichen.

Für Dubbing v2 sind die Transkriptbearbeitung und Audioregeneration über die API nur in Enterprise-Tarifen verfügbar.

ElevenLabs wurde mit der Idee gegründet, hervorragende Synchronisationen zu schaffen: ein Tool, mit dem Sie in jeder gewünschten Sprache eine perfekte Synchronisation erstellen können. Dabei wird die Originalstimme der Sprecher verwendet und die ursprüngliche Darbietung erhalten, damit alle Inhalte zugänglicher werden.

Öffnen Sie zunächst Dubbing und laden Sie Ihre Audio- oder Videodatei hoch. Alternativ können Sie eine URL einfügen, um ein Video von YouTube, TikTok oder einer anderen Onlinequelle zu synchronisieren .

Wählen Sie im Auswahlfeld Choose languages die Sprache oder Sprachen aus, in die Sie synchronisieren möchten. Ihnen wird jede hier ausgewählte Sprache berechnet. Eine vollständige Aufschlüsselung finden Sie unter Wie viel kostet Dubbing?. 

Standardmäßig verwenden Sie unser neuestes Dubbing-Modell v2. Mit dem v2-Modell erstellte Synchronisationen sind automatisch. Es gibt keine Option, Inhalte in der App zu bearbeiten. Die Transkriptbearbeitung und Audioregeneration über die API sind nur in Enterprise-Tarifen verfügbar.

Bei Verwendung von Dubbing v2 über die Website gilt für hochgeladene Dateien ein Limit von 2 GB und 180 Minuten. Sie müssen beide Grenzwerte einhalten.

Eine ausführlichere Erklärung und Anleitung zu Dubbing finden Sie in der vollständigen Dokumentation hier.

Wenn Sie ein Dubbing-Studio-Projekt erstellen möchten, um Ihre Synchronisationen zu bearbeiten, wählen Sie Dubbing v1 als Modell und anschließend Dubbing project.

Hinweis: Dubbing Studio befindet sich im Wartungsmodus und erhält nur kritische Fehlerbehebungen.

Dubbing Studio kann in folgenden Formaten exportieren:

  • MP4 (Video)
  • AAC (Audio)
  • AAF (Zeitachsen-Daten)
  • SRT (Untertitel)
  • WAV (Audio – separate Spuren für jeden Sprecher, als ZIP-Datei heruntergeladen)

Dubbing v2 gibt eine einzelne verlustfreie Audiodatei zurück.

Sie können für Dubbing Audio- und Videodateien in folgenden Formaten hochladen:

  • AAC
  • AIFF
  • AVI
  • FLAC
  • M4A
  • M4V
  • MKV
  • MOV
  • MP3
  • MP4
  • MPEG
  • MPG
  • OGA
  • OGG
  • OPUS
  • WAV
  • WEBA
  • WEBM
  • WMV
  • 3GPP
No results