Entitätserkennung

Überblick

Die Entitätserkennung ermöglicht es Ihnen, bestimmte Wörter und Phrasen im Transkript zu erkennen und ihre genauen Zeitstempel bereitzustellen. Das ist nützlich, um Kreditkartennummern, Namen, medizinische Zustände oder Sozialversicherungsnummern zu erkennen, die anschließend geschwärzt werden können.

Wenn aktiviert, erkennt das Modell bestimmte Entitätstypen im Transkript und liefert ihre genauen Zeitstempel.

Zum Beispiel liefert das folgende Audio:

folgendes Transkript, wenn wir "pii" (personenbezogene Informationen) als Entitätstyp angeben:

{
  "language_code": "eng",
  "language_probability": 0.9869821071624756,
  "text": "My name is Jill. My date of birth is the 12th of July 1987, and my credit card number is 4242-4242-4242-4242.",
  "words": [
    { "text": "My", "start": 0.099, "end": 0.259, "type": "word", "logprob": 0.0 },
    { "text": " ", "start": 0.259, "end": 0.299, "type": "spacing", "logprob": 0.0 },
    { "text": "name", "start": 0.299, "end": 0.42, "type": "word", "logprob": 0.0 },
    ...
  ],
  "transcription_id": "Y2ZX8AxHUzTPCIualYiE",
  "entities": [
    {
      "text": "Jill",
      "entity_type": "name",
      "start_char": 11,
      "end_char": 15
    },
    {
      "text": "12th of July 1987",
      "entity_type": "dob",
      "start_char": 41,
      "end_char": 58
    },
    {
      "text": "4242-4242-4242-4242",
      "entity_type": "credit_card",
      "start_char": 89,
      "end_char": 108
    }
  ]
}

Das Ergebnis zeigt die im Transkript erkannten PII-Entitäten mit ihren genauen Zeitstempeln.

Entitätserkennung integrieren

Die Entitätserkennung wird in die Speech to Text API integriert, indem Sie den Parameter entity_detection an die Methode convert übergeben.

import os
from dotenv import load_dotenv
from io import BytesIO
import requests
from elevenlabs.client import ElevenLabs
load_dotenv()
elevenlabs = ElevenLabs(
    api_key=os.getenv("ELEVENLABS_API_KEY"),
)
audio_url = (
    "https://storage.googleapis.com/eleven-public-cdn/documentation_assets/audio/stt-entity-detection-pii.mp3"
)
response = requests.get(audio_url)
audio_data = BytesIO(response.content)
transcription = elevenlabs.speech_to_text.convert(
    file=audio_data,
    model_id="scribe_v2", # Model to use
    # Entity types to detect, accepts a list of specific entity types or categories.
    # To detect all entity types, use the "all" category.
    entity_detection=["pii"],
)
print("Entities detected:", transcription.entities)

Entitätstypen

Die folgenden Entitätstypen werden für die Erkennung unterstützt. Sie können ganze Gruppen mit den Kategorie-Keywords pii, phi, pci, other oder offensive_language erkennen oder einzelne Entitätstypen anhand ihres Labels angeben. Um alle Entitätstypen zu erkennen, verwenden Sie die Kategorie all.

Entitäten schwärzen

Zusätzlich zur Erkennung von Entitäten können Sie diese mit dem Parameter entity_redaction aus dem Transkripttext schwärzen. Er akzeptiert dasselbe Format wie entity_detection: all, ein Kategorie-Keyword oder eine Liste spezifischer Entitätstypen. Die geschwärzten Typen müssen eine Teilmenge der erkannten Typen sein.

Wenn die Schwärzung aktiviert ist, wird übereinstimmender Entitätstext sowohl im Transkripttext als auch in der Ausgabe auf Wortebene durch eine Markierung ersetzt. Das Feld entities wird in der Antwort nicht zurückgegeben.

transcription = elevenlabs.speech_to_text.convert(
    file=audio_file,
    model_id="scribe_v2",
    entity_detection=["pii"],
    entity_redaction=["pii"],
    entity_redaction_mode="enumerated_entity_type",
)
print(transcription.text)
# "Hi {NAME_0}, your card ending in {CREDIT_CARD_0} was declined."

Der Parameter entity_redaction_mode steuert das Format der Markierung:

Die Entitätsschwärzung funktioniert auch mit Scribe v2 Realtime: Übergeben Sie entity_redaction und entity_redaction_mode als Abfrageparameter im selben Format wie oben. Auf jedes bestätigte Transkript folgt dann ein redacted_transcript-Ereignis mit dem ursprünglichen text und dem redacted_text. Siehe die Referenz für Echtzeitereignisse.

Nächste Schritte