Entitätserkennung

Überblick

Die Entitätserkennung ermöglicht es Ihnen, bestimmte Wörter und Phrasen im Transkript zu erkennen und ihre exakten Zeitstempel bereitzustellen. Das ist nützlich, um Kreditkartennummern, Namen, medizinische Diagnosen oder Sozialversicherungsnummern zu erkennen, die anschließend geschwärzt werden können.

Wenn sie aktiviert ist, erkennt das Modell bestimmte Entitätstypen im Transkript und liefert ihre exakten Zeitstempel.

Zum Beispiel erzeugt das folgende Audio:

Folgendes Transkript, wenn wir "pii" (personenbezogene Daten) als Entitätstyp angeben:

{
  "language_code": "eng",
  "language_probability": 0.9869821071624756,
  "text": "My name is Jill. My date of birth is the 12th of July 1987, and my credit card number is 4242-4242-4242-4242.",
  "words": [
    { "text": "My", "start": 0.099, "end": 0.259, "type": "word", "logprob": 0.0 },
    { "text": " ", "start": 0.259, "end": 0.299, "type": "spacing", "logprob": 0.0 },
    { "text": "name", "start": 0.299, "end": 0.42, "type": "word", "logprob": 0.0 },
    ...
  ],
  "transcription_id": "Y2ZX8AxHUzTPCIualYiE",
  "entities": [
    {
      "text": "Jill",
      "entity_type": "name",
      "start_char": 11,
      "end_char": 15
    },
    {
      "text": "12th of July 1987",
      "entity_type": "dob",
      "start_char": 41,
      "end_char": 58
    },
    {
      "text": "4242-4242-4242-4242",
      "entity_type": "credit_card",
      "start_char": 89,
      "end_char": 108
    }
  ]
}

Das Ergebnis zeigt die im Transkript erkannten PII-Entitäten mit ihren exakten Zeitstempeln.

Entitätserkennung integrieren

Die Entitätserkennung wird in die Speech to Text API integriert, indem Sie den Parameter entity_detection an die Methode convert übergeben.

import os
from dotenv import load_dotenv
from io import BytesIO
import requests
from elevenlabs.client import ElevenLabs
load_dotenv()
elevenlabs = ElevenLabs(
    api_key=os.getenv("ELEVENLABS_API_KEY"),
)
audio_url = (
    "https://storage.googleapis.com/eleven-public-cdn/documentation_assets/audio/stt-entity-detection-pii.mp3"
)
response = requests.get(audio_url)
audio_data = BytesIO(response.content)
transcription = elevenlabs.speech_to_text.convert(
    file=audio_data,
    model_id="scribe_v2", # Model to use
    # Entity types to detect, accepts a list of specific entity types or categories.
    # To detect all entity types, use the "all" category.
    entity_detection=["pii"],
)
print("Entities detected:", transcription.entities)

Entitätstypen

Die folgenden Entitätstypen werden für die Erkennung unterstützt. Sie können ganze Gruppen mit den Kategorie-Schlüsselwörtern pii, phi, pci, other oder offensive_language erkennen oder einzelne Entitätstypen über ihr Label angeben. Um alle Entitätstypen zu erkennen, verwenden Sie die Kategorie all.

Entitäten schwärzen

Neben der Erkennung von Entitäten können Sie diese mit dem Parameter entity_redaction aus dem Transkripttext schwärzen. Er akzeptiert dasselbe Format wie entity_detection: all, ein Kategorie-Schlüsselwort oder eine Liste spezifischer Entitätstypen. Die geschwärzten Typen müssen eine Teilmenge der erkannten Typen sein.

Wenn die Schwärzung aktiviert ist, wird übereinstimmender Entitätstext sowohl im Transkripttext als auch in der Ausgabe auf Wortebene durch eine Markierung ersetzt. Das Feld entities wird nicht in der Antwort zurückgegeben.

transcription = elevenlabs.speech_to_text.convert(
    file=audio_file,
    model_id="scribe_v2",
    entity_detection=["pii"],
    entity_redaction=["pii"],
    entity_redaction_mode="enumerated_entity_type",
)
print(transcription.text)
# "Hi {NAME_0}, your card ending in {CREDIT_CARD_0} was declined."

Der Parameter entity_redaction_mode steuert das Markierungsformat:

Nächste Schritte