推出 Eleven v4认识 Eleven v4:迄今情感表现最丰富的模型。

跳至内容

如何使用会议转写 API:使用 Scribe v2 进行实时和批量转写

发布时间

收听收听本文

手动记录会议笔记既繁琐又容易出错,尤其是会议超过 1 小时时。这不仅浪费时间,也会让参会者分心,无法专注讨论。即使有录音,也很难将具体对话标记到各个说话人。 


会议转写 API 可在产品中将实时或录制的会议转换为带时间戳和说话人标记的文本。只需发送音频,即可获取结构化转写文本,无需自行构建语音模型。

本文介绍会议转写 API 的工作原理,对比实时与批量转写,并说明如何使用 Eleven Scribe v2 和 Eleven Scribe v2 Realtime 构建产品。

摘要

  • 会议转写 API 可将会议音频转换为带时间戳和说话人标记的转写文本。
  • 实时转写 可提供低延迟的会议内字幕,而批量转写会在会议结束后处理录音。
  • 会议转写准确度取决于音频质量、说话人的语音特征和底层语音模型。 
  • ElevenLabs 提供 Scribe v2 和 Scribe v2 Realtime 模型,帮助工程团队构建高准确度的会议转写产品。 

会议转写 API 的作用及适用人群

会议转写 API 以会议音频为输入并返回文本。它可处理语音识别、说话人分离和时间戳,为你提供完整的处理结果。相比手动记录,会议文本转语音可为参会者提供可搜索、可随时回顾的记录。

随着越来越多团队采用 AI 智能体,书面会议记录成为可搜索的上下文。内部智能体可以检索转写文本中的细节,提取信息以减少数据孤岛,并提升跨团队的信息获取效率。

许多商业工具提供转写功能,但未必能完全满足组织需求。


对于产品工程团队,构建 STT 会议应用,或为现有工具增加这项能力,有时是更可行的选择。借助自建会议转写软件,你可掌控以下方面:

  • 隐私:ElevenLabs 为企业版用户提供零保留模式,进一步满足特定地区的隐私要求。 
  • 自定义词汇:可向模型提供额外上下文,帮助它理解并转写公司、产品和行业特有术语。 
  • 定制工作流:无需受限于供应商特定工作流,你可构建连接内部数据库、CRM 和企业软件的会议转写工具。 


ElevenLabs 提供领先的语音和音频模型,帮助你构建会议转写应用。使用会议转写 API,可准确将会议中的发言记录为文本笔记。模型支持 90 多种语言,可转写英语、法语、普通话及数十种其他语言。 

Why teams build custom meeting transcription API: privacy, vocabulary, workflow, and searchable AI context.

会议文本转语音:如何选择实时或批量转写 

实时转写会在发言时捕获音频流,并转换为实时字幕。你可以用实时转写在会议期间提供文字辅助,或通过实时机器人触发会中操作。批量转写则会在会议结束后处理完整录音,生成更简洁、结构化的转写文本。批量转写适用于创建会后笔记、记录存档和维护可审计记录。 

在实时和批量语音转文字之间选择时,了解技术和成本影响非常重要。 

以下快速对比两种方法。

特性

实时转写

批量转写

技术运作方式

在发言时实时捕获音频流。需要与语音模型保持活跃连接。 

会议结束后处理完整录音。可异步运行。  

准确度 

标准。实时处理音频,无法获得完整上下文。

更高。拥有充足时间分析完整对话上下文。

使用场景

会议内实时字幕、会议机器人。 

会后笔记、记录存档。

成本

较高,因为需要持续连接。

借助批量处理效率,成本较低。 

最终选择取决于优先事项。如果要构建实时会议助手,必须进行实时转写;否则可使用批量转写,兼具成本和准确度优势。 

如何使用 Scribe v2 设置会议转写 API

ElevenLabs 文本转语音 可让你通过 Scribe v2 Realtime 和 Scribe v2 转写会议。两款语音模型均经过训练,可针对不同口音、方言和音频质量准确标记说话人。Scribe v2 Realtime 可即时转写实时语音,而 Scribe v2 可将音频录制转换为高准确度转写文本。 

你可以通过我们提供的 API 访问两款模型。下文将详细介绍每款模型,重点说明核心功能、API 架构以及与转写解决方案的集成方式。 

选项 1:实时(直播)转写 

实时转写可在会议过程中处理对话,并随说话人发言将其转换为文本。听到的语音与转写文本之间几乎没有可感知的间隔。 

要进行实时转写,可使用 Scribe v2 Realtime 模型。它实现了音频输入到文本输出仅 150 ms 的低延迟(近乎即时的部分转写)。将模型集成到转写应用后,即可提供无间断字幕。 

Scribe v2 Realtime 专为支持实时对话而设计,适用于实时字幕、生成实时会议笔记,或将实时文本输入 AI 助手以触发后续操作等场景。此外,模型支持最多 50 个提示关键词。 

如何使用 Scribe v2 Realtime 转写


要进行实时转写,请使用 ElevenAPI 将产品连接至 Scribe v2 Realtime。 

  1. 首先,打开 WebSocket,让产品能够接收 Scribe v2 Realtime 模型返回的转写文本。 
  2. 然后,将实时会议对话的音频流发送至模型。 
  3. 最后,在 150 ms 内接收部分和最终转写文本。 


在代码中,需要为整个转写过程中发生的 API 事件 创建处理程序。例如,代码可处理发送音频数据和接收已提交转写文本时的事件。 

Live meeting transcription workflow: open WebSocket, stream audio, receive partial and final text.

Scribe v2 Realtime 的实时流传输方法

以下示例将在后端创建单次使用令牌。客户端可将会议音频流传输至会议转写 API,无需暴露 API 密钥。

// Node.js server
import { ElevenLabsClient } from "@elevenlabs/elevenlabs-js";

const elevenlabs = new ElevenLabsClient({
  apiKey: process.env.ELEVENLABS_API_KEY,
});

app.get("/scribe-token", yourAuthMiddleware, async (req, res) => {
  const token = await elevenlabs.tokens.singleUse.create("realtime_scribe");

  res.json(token);
});

根据应用架构,可从客户端应用或后端服务器使用 Scribe v2 Realtime 流传输实时对话。

  • 客户端流传输:使用此方法,可直接从麦克风输入音频,或通过手动分块将音频输入模型。连接 API 时,通过单次使用令牌验证,可避免暴露 API 密钥。 
  • 服务端流传输:此方法可直接从 URL、上传文件或音频流传输音频。使用 ElevenLabs API 密钥,而非单次使用令牌。 

为 Scribe v2 Realtime 选择提交策略

以下示例配置了语音活动检测。每当说话人暂停时,API 都会提交一个转写片段。

import { Scribe, AudioFormat, CommitStrategy } from "@elevenlabs/client";

const connection = Scribe.connect({
  token: "sutkn_1234567890",
  modelId: "scribe_v2_realtime",
  audioFormat: AudioFormat.PCM_16000,
  commitStrategy: CommitStrategy.VAD,
  vadSilenceThresholdSecs: 1.5,
  vadThreshold: 0.4,
  minSpeechDurationMs: 100,
  minSilenceDurationMs: 100,
});

最终转写文本可作为准确记录会议发言的证据性记录。提交最终转写文本有两种方式:手动提交或使用语音活动检测(VAD)。 

  • 手动提交: 默认情况下,必须在代码中手动提交转写片段。为获得最佳延迟,建议每 20 至 30 秒提交一次。如果担心丢失上下文,可将前文与音频片段一同发送处理。
  • 语音活动检测: 或者,可使用 VAD,它会检测音频流中的静音以启动转写。 

选项 2:批量转写(会后) 

批量转写可有效将数小时的会议录音转换为文本格式。它能大规模提供简洁、与上下文相关且区分说话人的转写文本。

Scribe v2 是 ElevenLabs 的文本转语音模型,支持动态音频标记。你可以准确提取对话数据及笑声、脚步声等非语音事件。 

不同于实时转写,Scribe v2 专为录制后的会议笔记构建。例如,可在 Zoom、Teams 和 Google Meet 等平台录制会议,再于会议结束后将音频文件上传至 Scribe v2 进行批量转写。 

Batch transcription workflow: upload recording, receive webhook, and verify its HMAC signature.

如何使用 Scribe v2 进行批量转写 

使用 Scribe v2 转写时,将通过 REST API 异步进行。无需与语音模型保持活跃连接,而是通过 webhook 在转写文本准备就绪时接收通知。

以下是将音频录音转换为转写文本的逻辑 流程,它可将音频录音转换为转写文本。

Create webhook dialog configuring callback URL, HMAC authentication, and event subscriptions.

 

  1. 首先,在 ElevenLabs 控制台创建 WebHook 以接收转写结果。
  2. 然后,在代码中创建事件处理程序以处理返回的转写结果。 
  3. 接着,将音频文件上传到 Scribe v2 REST 端点。 


转写完成后,会调用配置的事件处理程序。 

Scribe v2 的关键词提示

Scribe v2(批量)最多支持 1,000 个关键词提示术语。发送音频文件进行转写时,可在 API 调用中包含这些术语。不同于词汇表,Scribe v2 会将关键词与对话上下文进行比对,以确定恰当的转写结果。


这样,模型会在有人说出特定术语时额外关注,并准确转写。 

以下示例会随请求传递公司和产品术语,因此 API 能在上下文中正确转写它们。 

connection = await elevenlabs.speech_to_text.realtime.connect(RealtimeUrlOptions(
    model_id="scribe_v2_realtime",
    keyterms=["ElevenLabs"],
))

例如,当你在品牌或公司语境中发音时,它会将其转写为“ElevenLabs”。 

Scribe v2 的多声道转写

多声道转写 可让 Scribe v2 模型转写音频文件中的单独声道,其中包含不同说话人的语音。构建用于会议、法庭录音或播客的转写工具时,此功能非常实用。 

每个声道都会标记一个代表说话人的唯一标识符。

常见会议转写难题及 API 的应对方式 

工程团队在转写会议时,经常面临以下挑战。

Slide outlines four meeting transcription challenges, API solutions, and keyterm limits.

对话重叠 

多位说话人同时说话会让内容难以理解。要区分说话人,可使用 Scribe v2 提供的说话人分离或多声道转写。这样即可获取分别标记到对应说话人的独立转写文本。

误识别

转写工具面临的另一个问题,是准确检测和理解特定产品、品牌或行业术语。例如,软件开发者熟悉的“DevOps”可能被错误转写为“dev ops”。使用 ElevenLabs 会议转写 API,可通过关键词提示引导模型正确理解。

多语言说话人

有些会议使用不同语言进行,说话人会在自己熟练掌握的两种或多种语言之间切换。标准语音模型难以理解上下文和语音内容,导致转写质量不佳。Scribe v2 支持多语言转写,覆盖超过 90 种语言,可精准捕捉实时展开的对话。 

实时字幕和录制后转写文本

有些团队既需要投放实时字幕,也需要生成会后转写文本。遗憾的是,并非所有现成转写工具都具备这两项功能。使用 Scribe v2 和 Scribe v2 Realtime,ElevenLabs API 可同时满足这两种需求。 

开始使用会议转写 API

ElevenAPI 提供领先的文本转语音模型,帮助你构建会议转写工具。构建环境设置很简单:获取 API 密钥,安装适用于 Python 或 Node.js 的 SDK,然后使用提供的 API 将 Scribe v2 或 Scribe v2 Realtime 集成到产品中。 

立即获取 ElevenLabs 访问权限,并发送第一个 API 请求。 

使用 ElevenAPI 大规模构建

需要其他帮助?前往 帮助中心

常见问题 

作者

Jack Limebear 隶属于增长团队,负责博客和洞察页面的内容撰写与策略。加入 ElevenLabs 前,他曾在多家快速成长的 SaaS 初创公司和世界 500 强企业,拥有十余年内容策略管理经验。剑桥大学英语文学硕士。

相关内容

用高质量 AI 音频创作