Python-Tutorial zur Spracherkennung: Von der Audiodatei zum Transkript

Spracherkennung in eine Python-App zu integrieren, war früher aufwendig. Python-Entwickler mussten den Transkriptionsprozess selbst programmieren, einschließlich Audio-Vorverarbeitung, Merkmalsextraktion und Modellintegration. Darüber hinaus kämpfen Entwicklungsteams mit Audioverarbeitung auf niedriger Ebene, unzureichender Transkriptionsqualität und Verzögerungen zwischen gesprochenen Wörtern und Live-Untertiteln. 

Fortschritte bei Audiomodellen und Spracherkennungs-SDKs ändern das.

In diesem Python-Tutorial zur Spracherkennung erfahren Sie, wie Sie die Audiomodelle von ElevenLabs Speech to Text in Ihr Python-Projekt integrieren, um kommerziell einsetzbare Transkriptions-Apps zu entwickeln. 

Zusammenfassung

• Kommerzielle Speech-to-Text-Modelle bieten Funktionen wie Sprecherdiarisierung, Zeitstempel auf Wortebene und Keyterm Prompting, die einfachen Spracherkennungsmodellen fehlen. 
• ElevenAPI erweitert Ihren Python-Code mit Scribe v2 und Scribe v2 Realtime um Spracherkennungsfunktionen. 
• Entwickler können ElevenLabs Skills auf einer KI-Programmierplattform installieren, um präzisen Python-Code auf Grundlage der offiziellen API-Dokumentation zu generieren. 
• Sie können die ElevenLabs API kostenlos testen, bevor Sie für die kommerzielle Entwicklung ein kostenpflichtiges Abo abschließen. 

Inhalte dieses Python-Tutorials zur Spracherkennung

Dieses Tutorial behandelt Voraussetzungen, API-Integration und erweiterte Transkriptionsfunktionen, mit denen Sie eine Python-App zur Spracherkennung für Enterprise-Anwendungsfälle entwickeln.  

Die Spracherkennung hat sich in den letzten Jahren stark weiterentwickelt, insbesondere weil Large Language Models und neuronale Deep-Learning-Netzwerke die Nutzung von Transkriptions-SDKs durch Python-Entwickler verändert haben. Viele Tutorials zeigen zwar, wie sich einfache Transkriptions-Apps erstellen lassen, aber nur wenige behandeln die Funktionen, die ein kommerziell einsetzbares Produkt braucht.

Dieses Tutorial schließt diese Lücke. 

Viele Enterprise-Transkriptionslösungen benötigen beispielsweise diese Funktionen:

• Sprecherdiarisierung: Die Fähigkeit, einzelne Sprecher im Transkript zu identifizieren und voneinander zu trennen.
• Zeitstempel: Die präzise Kennzeichnung jedes Worts mit den relativen Stunden, Minuten und Sekunden, zu denen es gesprochen wird. 
• Mehrsprachige Unterstützung: Erfasst Sprache in verschiedenen Sprachen innerhalb einer einzelnen Aufnahme oder eines Livestreams bei niedrigen Wortfehlerraten. 
• Keyterm Prompting: Ordnet spezielle Wörter wie Marken, Produktnamen und Fachbegriffe zu, um falsch geschriebene Transkriptionen zu vermeiden. 
• Transkription mit geringer Latenz: Speech-to-Text-Antworten im Millisekundenbereich für Echtzeit-Transkriptions-Apps. 

Hinweis: Dieses Tutorial geht über die Erstellung einfacher persönlicher Skripte für Hobby- oder Privatprojekte hinaus. Es umfasst keine Anwendungslogik, die auf der Integration der Speech to Text API aufbaut, da diese je nach Unternehmen variiert. 

Voraussetzungen für die Python-Integration zur Spracherkennung 

Dieses Tutorial basiert auf ElevenAPI, einer produktionsreifen API von ElevenLabs, die die Interaktion mit Sprachmodellen in Ihrem Code vereinfacht. Mit ElevenAPI erhalten Sie Zugriff auf Scribe v2 und Scribe v2 Realtime, unsere führenden Sprachmodelle für Batch- und Live-Transkription. 

Statt direkt auf ElevenLabs Speech-to-Text-Modelle zuzugreifen, übergeben Sie Audioaufnahmen, Livestreams und Argumente über API-Aufrufe. Das Audiomodell wandelt die Audiodaten dann in Text um. Nach Abschluss erhalten Sie die Transkripte im Code oder über einen Webhook. 

Führen Sie zum Start diese Vorbereitungsschritte aus. 

1. Bei ElevenLabs registrieren.
2. API-Schlüssel erstellen.
3. Ein Gespräch aufzeichnen und in einen öffentlich zugänglichen Speicher hochladen. 

Sobald Sie bereit sind, fahren Sie mit dem nächsten Abschnitt fort. 

Umgebung einrichten 

Richten Sie Ihre Python-Umgebung ein, bevor Sie ElevenLabs-Modelle integrieren, um Ihren ElevenLabs API-Schlüssel zu schützen. Wie bei allen API-Schlüsseln empfehlen wir, ihn als Umgebungsvariable (verwaltetes Secret) in der Datei .env zu speichern. 

ELEVENLABS_API_KEY=<your_api_key_here>

Bei einem API-Aufruf übergeben Sie die Umgebungsvariable. So verhindern Sie, dass Sie den API-Schlüssel bei API-Anfragen über ein öffentliches Netzwerk versehentlich offenlegen. 

Führen Sie anschließend einen Bash-Befehl aus, um elevenlabs, das ElevenLabs SDK, in Ihrer Python-Umgebung zu installieren. Das SDK ermöglicht den Zugriff auf verschiedene Sprachmodelle. In diesem Fall wählen Sie zwischen Scribe v2 und Scribe v2 Realtime.

pip install elevenlabs
pip install python-dotenv

Sie müssen außerdem python-dotenv installieren, damit Ihr Python-Code auf die in der Datei .env gespeicherten Umgebungsvariablen zugreifen kann. 

Ihr erstes Transkriptionsskript schreiben 

Nachdem Sie die Python-Umgebung eingerichtet haben, können Sie die Audiodatei mit ElevenLabs Scribe v2 transkribieren. 

ElevenLabs Scribe v2 ist ein führendes Spracherkennungsmodell, mit dem Sie Audiodateien im großen Umfang transkribieren können. Es erkennt Phoneme selbst bei starkem Hintergrundrauschen mit hoher Genauigkeit. Zum Transkribieren senden Sie die Aufnahme über die ElevenLabs API an das Modell und rufen das fertige Transkript ab. 

Unten finden Sie ein Python-Codebeispiel, das eine Audiodatei in ein Transkript mit Zeitstempeln und Sprecherdiarisierung umwandelt. 

# example.py
import os
from dotenv import load_dotenv
from io import BytesIO
import requests
from elevenlabs.client import ElevenLabs

load_dotenv()

elevenlabs = ElevenLabs(
  api_key=os.getenv("ELEVENLABS_API_KEY"),
)

audio_url = (
    "https://storage.googleapis.com/eleven-public-cdn/audio/marketing/nicole.mp3"
)
response = requests.get(audio_url)
audio_data = BytesIO(response.content)

transcription = elevenlabs.speech_to_text.convert(
    file=audio_data,
    model_id="scribe_v2", # Model to use
    tag_audio_events=True, # Tag audio events like laughter, applause, etc.
    language_code="eng", # Language of the audio file. If set to None, the model will detect the language automatically.
    diarize=True, # Whether to annotate who is speaking
)

print(transcription)

Der Code lädt die erforderlichen Bibliotheken mit den benötigten Funktionen. Außerdem lädt er die von Ihnen definierten Umgebungsvariablen in die Programmumgebung. 

Anschließend erstellt er mit dem in der Umgebungsvariable gespeicherten API-Schlüssel einen ElevenLabs-Client. Danach lädt er die Audiodatei herunter und wandelt sie in Binärdaten um. 

Sobald Sie die Roh-Audiodaten haben, senden Sie sie zusammen mit mehreren Parametern an die ElevenLabs API.

• model_id gibt das Speech-to-Text-Modell an, das Sie verwenden möchten. Da Sie eine Audiodatei übergeben, ist Scribe v2 die beste Option.
• tag_audio_events ermöglicht es Ihnen, Abschnitte ohne Sprache wie Lachen, Schritte und andere Hintergrundgeräusche hervorzuheben.
• language_code steht für die Sprache der Gespräche in der Aufnahmedatei. Wenn der Wert auf None gesetzt ist, erkennt das Modell die Sprache automatisch. 
• diarize gibt an ob das Modell verschiedene Sprecher anhand ihrer Stimmmerkmale profilieren und voneinander trennen soll.

Führen Sie den Code abschließend aus. Das transkribierte Audio wird im Terminal angezeigt. 

Streaming-Spracherkennung in Python

Das obige Beispiel behandelt die Batch-Transkription, die sich für voraufgezeichnete Dateien eignet. ElevenLabs stellt jedoch auch APIs bereit, mit denen Sie Streaming-Spracherkennung entwickeln können. Anders als die Batch-Verarbeitung führt dieser Modus die Spracherkennung in Echtzeit aus und erstellt Transkripte, während das Gespräch stattfindet. 

Dazu verbinden Sie Ihren Python-Code über die WebSocket API mit dem Modell Scribe v2 Realtime. 

Scribe v2 Realtime bietet eine Streaming-First-Architektur mit einer Transkriptionslatenz von unter 150 ms. Mit Scribe v2 Realtime entwickeln Sie Anwendungen wie Meeting-Agents, Barrierefreiheits-Tools und sprachgesteuerte Automatisierung. Während das Modell den Audiostream verarbeitet, gibt es ein Teiltranskript zurück. Das endgültige Transkript gibt es erst zurück, wenn der Code ein Audiosegment automatisch oder manuell bestätigt. 

Je nach Audioquelle und Anwendungstyp integrieren Sie die Spracherkennung mit der ElevenLabs API server- oder clientseitig. 

• Clientseitiges Streaming ermöglicht Streaming direkt vom Mikrofon oder über manuell segmentierte Audiostreams.
• Serverseitiges Streaming leitet Audiodaten von einer URL oder Audioquelle an das Sprachmodell weiter. 

Sowohl client- als auch serverseitiges Streaming ermöglichen einen asynchronen Workflow. Statt die API fortlaufend abzufragen, verwenden Sie WebSockets zur Verarbeitung der Ergebnisse. In Ihrem Code müssen Sie Handler erstellen, die Teil- und finale Transkripte empfangen. 

Weiterführend: Diarisierung, Zeitstempel und benutzerdefiniertes Vokabular 

Neben der automatischen Spracherkennung unterstützen ElevenLabs Speech-to-Text-Modelle Diarisierung, Zeitstempel und benutzerdefiniertes Vokabular. 

• Diarisierung: Nur die Batch-Transkription unterstützt Sprecherdiarisierung. Sie aktivieren die Diarisierung, indem Sie das Argument diarize setzen. Die Mehrkanal-Transkription, ein Modus der Batch-Transkription, unterstützt jedoch keine Diarisierung.
• Zeitstempel: Bei der Batch-Transkription können Sie zwischen Zeitstempeln auf Wort- oder Zeichenebene wählen. Setzen Sie dazu bei Verwendung der Methode convert den Parameter timestamps_granularity.  
• Benutzerdefiniertes Vokabular: Sowohl Echtzeit- als auch Batch-Transkription unterstützen Keyterm Prompting. Diese Funktion lenkt das Modell darauf, bestimmte Keyterms zu transkribieren, die Sie in einer Liste angeben. Scribe v2 Realtime unterstützt bis zu 50 Keyterms, Scribe v2 bis zu 1.000. 

Den ElevenLabs Skill in KI-Programmierassistenten nutzen 

KI-Programmierassistenten beschleunigen die Entwicklung. Wenn Sie Tools wie Claude Code, Cursor, Codex oder ähnliche KI-Programmiertools verwenden, können Sie ElevenLabs Skills in der Programmierumgebung hinzufügen. 

Führen Sie dazu einfach diesen Befehl im Terminal Ihrer Plattform aus:

 npx skills add elevenlabs/skills --skill speech-to-text 

Der KI-Programmieragent lädt den Speech-to-Text-Skill aus dem GitHub-Repository von ElevenLabs herunter und installiert ihn im lokalen Skill-Verzeichnis. So können Sie Python-Code für die Spracherkennung anhand der offiziellen ElevenLabs-Dokumentation automatisch generieren, statt die gesamte API-Integration von Grund auf zu schreiben. 

Nach der Installation können Sie Python-Code zur Spracherkennung generieren, indem Sie einfach beschreiben, was er tun soll. Basierend auf der Beschreibung generiert der Programmierassistent automatisch Code mit dem Speech-to-Text-Skill, dem richtigen Modell und den passenden Parametern.

Wenn Sie beispielsweise in Codex „Erstelle ein Python-Codebeispiel zur Spracherkennung, das mit Diarisierung und Zeitstempeln auf Wortebene transkribiert“ eingeben, erhalten Sie ein ähnliches Beispiel wie unten. 

Mit ElevenAPI für Spracherkennung starten

ElevenAPI ermöglicht Ihnen den Zugriff auf fortschrittliche Speech-to-Text-Modelle, um Spracherkennungs-Apps in Python zu entwickeln.

Mit ElevenAPI vermeiden Sie Integrationscode von Grund auf, der Produktinnovationen verzögert. Stattdessen verwenden Sie SDKs, die Speech-to-Text-Dienste mit kommerziellen Anforderungen wie Keyterm Prompting, Diarisierung und Zeitstempeln bereitstellen. 

Holen Sie sich jetzt Ihren ElevenLabs API-Schlüssel und lesen Sie unsere offizielle Dokumentation, um zu erfahren, wie die API funktioniert. 

Häufig gestellte Fragen