Entiteitsdetectie

Overzicht

Entiteitsdetectie is een functie waarmee je specifieke woorden en zinnen in het transcript kunt detecteren en hun exacte tijdstempels krijgt. Dit is handig voor het detecteren van creditcardnummers, namen, medische aandoeningen of burgerservicenummers, die vervolgens kunnen worden geredigeerd.

Als deze functie is ingeschakeld, detecteert het model specifieke entiteitstypen in het transcript en geeft het hun exacte tijdstempels.

Bijvoorbeeld de volgende audio:

Geeft het volgende transcript wanneer we "pii" (persoonlijk identificeerbare informatie) als entiteitstype opgeven:

{
  "language_code": "eng",
  "language_probability": 0.9869821071624756,
  "text": "My name is Jill. My date of birth is the 12th of July 1987, and my credit card number is 4242-4242-4242-4242.",
  "words": [
    { "text": "My", "start": 0.099, "end": 0.259, "type": "word", "logprob": 0.0 },
    { "text": " ", "start": 0.259, "end": 0.299, "type": "spacing", "logprob": 0.0 },
    { "text": "name", "start": 0.299, "end": 0.42, "type": "word", "logprob": 0.0 },
    ...
  ],
  "transcription_id": "Y2ZX8AxHUzTPCIualYiE",
  "entities": [
    {
      "text": "Jill",
      "entity_type": "name",
      "start_char": 11,
      "end_char": 15
    },
    {
      "text": "12th of July 1987",
      "entity_type": "dob",
      "start_char": 41,
      "end_char": 58
    },
    {
      "text": "4242-4242-4242-4242",
      "entity_type": "credit_card",
      "start_char": 89,
      "end_char": 108
    }
  ]
}

Het resultaat toont de PII-entiteiten die in het transcript zijn gedetecteerd, met hun exacte tijdstempels.

Entiteitsdetectie integreren

Entiteitsdetectie wordt geïntegreerd in de Speech to Text API door de parameter entity_detection door te geven aan de methode convert.

import os
from dotenv import load_dotenv
from io import BytesIO
import requests
from elevenlabs.client import ElevenLabs
load_dotenv()
elevenlabs = ElevenLabs(
    api_key=os.getenv("ELEVENLABS_API_KEY"),
)
audio_url = (
    "https://storage.googleapis.com/eleven-public-cdn/documentation_assets/audio/stt-entity-detection-pii.mp3"
)
response = requests.get(audio_url)
audio_data = BytesIO(response.content)
transcription = elevenlabs.speech_to_text.convert(
    file=audio_data,
    model_id="scribe_v2", # Model to use
    # Entity types to detect, accepts a list of specific entity types or categories.
    # To detect all entity types, use the "all" category.
    entity_detection=["pii"],
)
print("Entities detected:", transcription.entities)

Entiteitstypen

De volgende entiteitstypen worden ondersteund voor detectie. Je kunt hele groepen detecteren met de categoriezoekwoorden pii, phi, pci, other of offensive_language, of individuele entiteitstypen opgeven met hun label. Gebruik de categorie all om alle entiteitstypen te detecteren.

Entiteiten redigeren

Naast het detecteren van entiteiten kun je ze met de parameter entity_redaction uit de transcripttekst redigeren. Deze accepteert dezelfde indeling als entity_detection: all, een categoriezoekwoord of een lijst met specifieke entiteitstypen. De geredigeerde typen moeten een subset zijn van de gedetecteerde typen.

Wanneer redigeren is ingeschakeld, wordt overeenkomende entiteitstekst vervangen door een markering in zowel de transcripttekst als de uitvoer op woordniveau, en wordt het veld entities niet geretourneerd in het antwoord.

transcription = elevenlabs.speech_to_text.convert(
    file=audio_file,
    model_id="scribe_v2",
    entity_detection=["pii"],
    entity_redaction=["pii"],
    entity_redaction_mode="enumerated_entity_type",
)
print(transcription.text)
# "Hi {NAME_0}, your card ending in {CREDIT_CARD_0} was declined."

De parameter entity_redaction_mode bepaalt de indeling van de markering:

Entiteiten redigeren werkt ook met Scribe v2 Realtime: geef entity_redaction en entity_redaction_mode door als queryparameters, in dezelfde indeling als hierboven. Elk bevestigd transcript wordt dan gevolgd door een gebeurtenis redacted_transcript met de oorspronkelijke text en de redacted_text. Zie de referentie voor realtime-gebeurtenissen .

Volgende stappen