Entiteitsdetectie

Overzicht

Entiteitsdetectie is een functie waarmee je specifieke woorden en zinnen in het transcript kunt detecteren, inclusief hun exacte tijdstempels. Dit is nuttig voor het detecteren van creditcardnummers, namen, medische aandoeningen of burgerservicenummers, die je vervolgens kunt redigeren.

Wanneer deze functie is ingeschakeld, detecteert het model specifieke entiteitstypen in het transcript en levert het de exacte tijdstempels.

Bijvoorbeeld: de volgende audio:

Geeft het volgende transcript als we "pii" (persoonlijk identificeerbare informatie) als entiteitstype opgeven:

{
  "language_code": "eng",
  "language_probability": 0.9869821071624756,
  "text": "My name is Jill. My date of birth is the 12th of July 1987, and my credit card number is 4242-4242-4242-4242.",
  "words": [
    { "text": "My", "start": 0.099, "end": 0.259, "type": "word", "logprob": 0.0 },
    { "text": " ", "start": 0.259, "end": 0.299, "type": "spacing", "logprob": 0.0 },
    { "text": "name", "start": 0.299, "end": 0.42, "type": "word", "logprob": 0.0 },
    ...
  ],
  "transcription_id": "Y2ZX8AxHUzTPCIualYiE",
  "entities": [
    {
      "text": "Jill",
      "entity_type": "name",
      "start_char": 11,
      "end_char": 15
    },
    {
      "text": "12th of July 1987",
      "entity_type": "dob",
      "start_char": 41,
      "end_char": 58
    },
    {
      "text": "4242-4242-4242-4242",
      "entity_type": "credit_card",
      "start_char": 89,
      "end_char": 108
    }
  ]
}

Het resultaat toont de PII-entiteiten die in het transcript zijn gedetecteerd, met hun exacte tijdstempels.

Entiteitsdetectie integreren

Je integreert entiteitsdetectie in de Speech to Text API door de parameter entity_detection door te geven aan de methode convert.

import os
from dotenv import load_dotenv
from io import BytesIO
import requests
from elevenlabs.client import ElevenLabs
load_dotenv()
elevenlabs = ElevenLabs(
    api_key=os.getenv("ELEVENLABS_API_KEY"),
)
audio_url = (
    "https://storage.googleapis.com/eleven-public-cdn/documentation_assets/audio/stt-entity-detection-pii.mp3"
)
response = requests.get(audio_url)
audio_data = BytesIO(response.content)
transcription = elevenlabs.speech_to_text.convert(
    file=audio_data,
    model_id="scribe_v2", # Model to use
    # Entity types to detect, accepts a list of specific entity types or categories.
    # To detect all entity types, use the "all" category.
    entity_detection=["pii"],
)
print("Entities detected:", transcription.entities)

Entiteitstypen

De volgende entiteitstypen worden ondersteund voor detectie. Je kunt volledige groepen detecteren met de categoriezoekwoorden pii, phi, pci, other of offensive_language, of afzonderlijke entiteitstypen opgeven via hun label. Gebruik de categorie all om alle entiteitstypen te detecteren.

Entiteiten redigeren

Naast het detecteren van entiteiten kun je ze met de parameter entity_redaction uit de transcripttekst redigeren. Deze accepteert dezelfde indeling als entity_detection: all, een categoriezoekwoord of een lijst met specifieke entiteitstypen. De geredigeerde typen moeten een subset zijn van de gedetecteerde typen.

Wanneer redigeren is ingeschakeld, wordt overeenkomende entiteitstekst vervangen door een markering in zowel de transcripttekst als de uitvoer op woordniveau, en wordt het veld entities niet geretourneerd in het antwoord.

transcription = elevenlabs.speech_to_text.convert(
    file=audio_file,
    model_id="scribe_v2",
    entity_detection=["pii"],
    entity_redaction=["pii"],
    entity_redaction_mode="enumerated_entity_type",
)
print(transcription.text)
# "Hi {NAME_0}, your card ending in {CREDIT_CARD_0} was declined."

De parameter entity_redaction_mode bepaalt de indeling van de markering:

Volgende stappen