エンティティ検出

概要

エンティティ検出は、文字起こし内の特定の単語やフレーズを検出し、正確なタイムスタンプを取得できる機能です。クレジットカード番号、氏名、病状、社会保障番号（SSN）などを検出し、秘匿化する場合に便利です。

有効にすると、モデルが文字起こし内の指定されたエンティティタイプを検出し、正確なタイムスタンプを返します。

たとえば、次のオーディオの場合：

エンティティタイプとして "pii"（個人を特定できる情報）を指定すると、次の文字起こしが出力されます：

{
  "language_code": "eng",
  "language_probability": 0.9869821071624756,
  "text": "My name is Jill. My date of birth is the 12th of July 1987, and my credit card number is 4242-4242-4242-4242.",
  "words": [
    { "text": "My", "start": 0.099, "end": 0.259, "type": "word", "logprob": 0.0 },
    { "text": " ", "start": 0.259, "end": 0.299, "type": "spacing", "logprob": 0.0 },
    { "text": "name", "start": 0.299, "end": 0.42, "type": "word", "logprob": 0.0 },
    ...
  ],
  "transcription_id": "Y2ZX8AxHUzTPCIualYiE",
  "entities": [
    {
      "text": "Jill",
      "entity_type": "name",
      "start_char": 11,
      "end_char": 15
    },
    {
      "text": "12th of July 1987",
      "entity_type": "dob",
      "start_char": 41,
      "end_char": 58
    },
    {
      "text": "4242-4242-4242-4242",
      "entity_type": "credit_card",
      "start_char": 89,
      "end_char": 108
    }
  ]
}

結果には、文字起こし内で検出されたPIIエンティティと、その正確なタイムスタンプが表示されます。

エンティティ検出の組み込み

convert メソッドに entity_detection パラメータを渡すことで、エンティティ検出をスピーチtoテキストAPIに組み込めます。

import os
from dotenv import load_dotenv
from io import BytesIO
import requests
from elevenlabs.client import ElevenLabs
load_dotenv()
elevenlabs = ElevenLabs(
    api_key=os.getenv("ELEVENLABS_API_KEY"),
)
audio_url = (
    "https://storage.googleapis.com/eleven-public-cdn/documentation_assets/audio/stt-entity-detection-pii.mp3"
)
response = requests.get(audio_url)
audio_data = BytesIO(response.content)
transcription = elevenlabs.speech_to_text.convert(
    file=audio_data,
    model_id="scribe_v2", # Model to use
    # Entity types to detect, accepts a list of specific entity types or categories.
    # To detect all entity types, use the "all" category.
    entity_detection=["pii"],
)
print("Entities detected:", transcription.entities)

エンティティタイプ

以下のエンティティタイプを検出できます。カテゴリキーワード pii、phi、pci、other、offensive_language を使ってグループ全体を検出するか、ラベルを使って個別のエンティティタイプを指定できます。すべてのエンティティタイプを検出するには、all カテゴリを使用します。

エンティティの秘匿化

エンティティの検出に加えて、entity_redaction パラメータを使うと、文字起こしテキストからエンティティを秘匿化できます。このパラメータは entity_detection と同じ形式を受け付けます。指定できるのは all、カテゴリキーワード、または特定のエンティティタイプのリストです。秘匿化するタイプは、検出するタイプの一部でなければなりません。

秘匿化を有効にすると、一致したエンティティのテキストが、文字起こしテキストと単語単位の出力の両方でマーカーに置き換えられます。また、レスポンスに entities フィールドは返されません。

transcription = elevenlabs.speech_to_text.convert(
    file=audio_file,
    model_id="scribe_v2",
    entity_detection=["pii"],
    entity_redaction=["pii"],
    entity_redaction_mode="enumerated_entity_type",
)
print(transcription.text)
# "Hi {NAME_0}, your card ending in {CREDIT_CARD_0} was declined."

entity_redaction_mode パラメータでマーカーの形式を制御します：

エンティティの秘匿化はScribe v2 Realtimeでも利用できます。上記と同じ形式で、entity_redaction と entity_redaction_mode をクエリパラメータとして渡してください。確定した各文字起こしの後に、元の text と redacted_text を含む redacted_transcript イベントが続きます。詳しくは、リアルタイムイベントの リファレンスをご覧ください。

次のステップ