什么是 WebRTC?实时 Web 通信指南
- 发布时间
如今,流畅的 Web 通信似乎毫不费力。但过去,构建低延迟视频或语音流应用曾是开发者面临的一大难题。用户不得不应对丢帧、音频延迟和断连等影响交互体验的问题。
WebRTC 通过支持低延迟点对点数据流,帮助开发者解决实时 Web 通信的不足。自 2011 年推出以来,Chrome、Safari 和 Firefox 等主流浏览器均已采用 WebRTC。如今,WebRTC 可支持浏览器和 Web 应用中的实时通信。
本文将介绍 WebRTC 的工作原理、应用场景和安全注意事项,并将其与其他 Web 通信技术进行比较。
摘要
- WebRTC 是一种技术,可让浏览器或 Web 应用之间进行音频、视频和数据的点对点实时流传输。
- WebRTC 基于 UDP 运行,适合低延迟、可容忍丢包的 Web 通信应用。
- 要通过 WebRTC 进行流传输,可使用 RTCPeerConnection、MediaStream 和 RTCDataChannel 等标准 API,创建加密通道以实时交换媒体数据。
- 对等设备依靠 STUN 和 TURN 服务器发现 IP 地址,并在建立 WebRTC 连接时克服网络限制。
- 构建 WebRTC 应用时,开发者必须考虑可扩展性、安全性和连接性等多项挑战。
什么是 WebRTC?
WebRTC 是一项免费开源的通信技术,可在 Web 浏览器之间实现点对点实时流传输。借助 WebRTC,用户无需下载插件或中间软件,即可直接交换视频、音频和数据。
与传统的客户端—服务器流传输不同,只要存在直连路径,WebRTC 就会直接在对等端之间发送媒体数据。只有在无法直接连接,或参与者超过 2 人时,才会使用中继(TURN)服务器和媒体服务器。这使 WebRTC 能够提供低延迟实时媒体传输。
现代 Web 浏览器默认支持 WebRTC。WebRTC 是由 W3C 和 IETF 制定的开放标准,提供 JavaScript API,让你能够访问摄像头和麦克风、创建数据通道,并将媒体内容传送至目标端。
由于使用简单,开发者会用 WebRTC 支持多种 Web 应用,包括远程会议、音视频流传输、实时转录和屏幕共享。

WebRTC 如何运作:从信令到点对点媒体传输
WebRTC 在浏览器中采集数据、将其加密,并实时传输到另一浏览器。它通过用户数据报协议(UDP)创建数据通道,让浏览器或 Web 应用能够以低延迟交换数据。UDP 是一种快速、无连接的协议,可跨网络发送数据包。它无需维持连接、确认数据包接收情况或重传丢失的数据包,因此开销显著更低。
默认情况下,原生 WebRTC API 支持两个浏览器之间直接进行点对点(P2P)流传输。不过,超过 2 个浏览器也能通过创建多个 P2P 连接或使用媒体服务器来交换数据。上行带宽通常会限制多个 P2P 连接,因此对于实时会议等应用,媒体服务器是更好的选择。
下面将以两个浏览器之间的视频传输为例,说明其工作原理。
要创建 WebRTC 连接,两个浏览器都需遵循以下流程。
- 媒体采集。采集数据前,浏览器会请求用户授权访问麦克风、摄像头或屏幕。这是 WebRTC 框架内置的默认安全功能,开发者无法绕过。
- 信令。这一过程让两个浏览器通过信令服务器协商元数据,从而成功交换数据。例如,浏览器 A 会发送其支持的编解码器、比特率和加密技术,然后等待浏览器 B 返回相应元数据。两个浏览器必须就一组通用元数据达成一致,才能交换数据。
- 保护通道。WebRTC 会加密传输中的媒体和数据,防止未授权方访问。两个浏览器通过数据报传输层安全性(DTLS)交换加密密钥,并用其加密和解密数据。每一跳均单独加密,因此媒体服务器或 SFU 可以访问媒体内容;除非你额外添加端到端加密,例如使用可插入流。
- 媒体交换。浏览器协商好加密密钥后,会使用安全实时传输协议(SRTP)交换媒体。发送方会使用 AES-128 加密所有传出的视频、音频及其他任意数据。同时,设备使用流控制传输协议(SCTP)发送 JSON、文本文件等任意数据。
- 拥塞管理。设备会主动检测抖动、延迟或其他性能下降迹象。设备向对等端发送实时传输控制协议(RTCP)数据包,再通过名为 Google Congestion Control 的带宽估计算法分析 RTCP 响应,并相应调整传输速率。
WebRTC 标准为媒体采集、数据安全和媒体交换提供应用程序编程接口(API)及指南,但未定义信令框架。因此,开发者会通过 WebSocket 等不同机制实现信令。
支持的 WebRTC 编解码器
编解码器是压缩和解压媒体流的算法。所有符合 WebRTC 标准的浏览器都必须支持以下编解码器。
- 视频:VP8、H.264。
- 音频:Opus、G.711 PCM(A-law)、G.711 PCM(µ-law)。
不过,部分浏览器可能支持 AV1 和 VP9 等较新的编解码器。

WebRTC API:RTCPeerConnection、MediaStream 和数据通道
WebRTC 在浏览器运行时向开发者提供 3 个核心 API。
- RTCPeerConnection 负责连接发现、元数据协商、安全握手和加密。它支持添加视频和音频流,设备会将这些流发送给对等端。
- MediaStream 是包含待传输内容的对象。你可调用 getUserMedia() 填充该对象,它会将摄像头和麦克风输入传递给 MediaStream 实例。
- RTCDataChannel 是用于在对等浏览器之间发送任意数据的数据通道。

WebRTC 为什么使用 STUN 和 TURN 服务器
大多数 WebRTC 连接发生在不同网络中的设备之间。它们需要对等端的公网 IP 地址来交换数据。不过,设备通常位于防火墙、路由器之后,或处于受保护网络中。这些设备并不总是知道自己的公网 IP 地址,使连接更复杂。

路由器使用网络地址转换(NAT)将私有地址映射到公网地址。随后,WebRTC 使用交互式连接建立(ICE)在对等端之间寻找可用路径。
NAT 是一种让本地网络中的设备共享一个公网 IP 地址的服务。例如,计算机的私有 IP 地址为 192.168.1.104。通过 NAT,路由器接入互联网时会将其映射为公网 IP 地址 210.195.229.181。当你向该公网 IP 地址发送数据包时,路由器会识别对应的私有 IP 地址和本地端口,并将数据传送至该设备。
ICE 是让对等设备发现彼此的框架。设备会先尝试使用通过 STUN 服务器发现的公网 IP 地址建立连接。如果失败,则改用中间中继服务器。STUN 和 TURN 服务器都在 ICE 框架中运行,以实现成功的对等连接。
- NAT 会话穿越工具(STUN)服务器会向设备提供其公网 IP 地址和外部端口。设备获知公网 IP 地址后,会将其发送给希望通过互联网建立连接的对等端。
- NAT 中继穿越(TURN)服务器提供另一种建立 WebRTC 连接的方式。TURN 服务器提供中继地址,两个对等端通过该地址交换数据。当对等端即使知道公网 IP 地址仍无法建立连接时,就会回退至 TURN。

WebRTC 中的媒体服务器是什么?
媒体服务器是在 WebRTC 架构中负责在设备之间路由数据的中间服务器。虽然 WebRTC 媒体服务器不是必需的,但当设备需要同时向多个对等端进行流传输时会很有用。WebRTC 媒体服务器可将处理、加密和路由的负担从目标设备上卸载。
WebRTC 与 WebSocket:该使用哪种协议?
WebSocket 是一种允许客户端与服务器之间双向交换数据的协议。它运行在传输控制协议(TCP)之上,提供可靠、有序的交付。WebRTC 则使用 UDP 提供点对点流传输能力,延迟更低,且针对实时传输进行了优化。
当你需要传输高清视频且无法接受延迟或质量下降时,WebRTC 更适合。WebSocket 则适合维持持久连接,让应用能够与后端服务器可靠地交换消息。
WebRTC 和 WebSocket 并非竞争协议。实际上,设备会使用 WebSocket 进行信令,以建立 WebRTC 连接。WebSocket 专为事件驱动消息设计,设备可借此发送和接收网络参数、媒体元数据及其他提醒。

WebRTC 在实时语音、视频和数据中的应用场景
WebRTC 已成为 Web 应用和浏览器低延迟流传输的标准。多年来,开发者利用 WebRTC 支持以下应用。
- 视频会议。参会者可通过视频通话实时互动、共享屏幕和转录内容。
- 语音通话。WebRTC 支持即时通讯应用、联络中心和基于浏览器的电话进行音频对话。
- 物联网。IoT 设备通过 WebRTC 将家用摄像头、无人机和门铃摄像头的视频和音频数据传输至移动应用。
- 远程医疗。医生和患者可使用支持 WebRTC 的浏览器应用远程问诊。
- 互动直播。内容创作者、游戏玩家和表演者可利用 WebRTC 功能与观众实时互动。
- AI 语音智能体。WebRTC 可让 AI 语音智能体进行自然的多轮对话。

WebRTC 是 API、协议还是平台?
WebRTC 是构建在多种协议之上的一组 API。开发者可使用浏览器内置或以 SDK 形式提供的 WebRTC API,构建低延迟语音和视频流应用。例如,他们会调用 getUserMedia、RTCPeerConnection 和 RTCDataChannel 等 API,建立 RTC 连接并双向交换数据。
你也可以将 WebRTC 视为一组协同工作的协议,用于实现实时流传输。
协议
功能
数据报传输层安全性(DTLS)
提供初始加密和身份验证握手,以保护 WebRTC 数据。
安全实时传输协议(SRTP)
加密正在传输至对等设备的 WebRTC 负载。
实时传输控制协议(RTCP)
提供拥塞控制。
流控制传输协议(SCTP)
让设备能够有序发送数据
NAT 会话穿越工具(STUN)
让设备发现自己的公网 IP 地址,并将其发送给对等设备。
NAT 中继穿越(TURN)
当无法建立直连时,通过中间服务器提供供对等端使用的中继地址。
虽然 WebRTC 提供了流传输音频、视频或其他数据类型的基础能力,但它并非平台。WebRTC 不提供促进数据交换所需的框架、基础设施或信令机制。

WebRTC 的局限性、安全注意事项和权衡
尽管 WebRTC 提供低延迟双向通信,开发者仍会面临多项现实的实施挑战。
可扩展性
当多个参与者加入网状网络时,WebRTC 会遇到性能瓶颈。例如,若有 5 名参与者加入实时视频会议,设备必须同时向另外 4 名参与者传输视频数据。这会占用计算机资源和带宽,最终降低流传输质量。
连接问题
如果设备位于防火墙或对称 NAT 之后,可能无法通过 STUN 建立点对点连接。对称 NAT 会将面向公网的端口映射到特定目标,从而限制点对点通信。在这种情况下,WebRTC 会回退至 TURN,增加端到端延迟。
安全注意事项
尽管 WebRTC 会自动加密传输中的数据,仍有一些挑战需要注意。
- 设备连接至对等端时,会暴露其本地或公网 IP 地址,这可能引发隐私问题。
- 开发者必须使用 HTTPS 或 WSS 等安全信令协议。否则,恶意方可能拦截 WebRTC 连接。
- WebRTC 不处理应用层安全。你必须采取身份验证等缓解措施,防止未经授权的用户加入通话。
信令一致性
由于没有标准化信令框架,开发者可能使用不同的信令机制,导致协商消息冲突或不匹配。这可能使设备需要多次尝试,才能成功协商 WebRTC 连接。

使用 ElevenAgents 开始构建实时语音体验
ElevenAgents 可让你构建通过 WebRTC 连接的实时语音智能体。在 JavaScript 和 React SDK 中,语音对话默认使用 WebRTC,纯文本对话使用 WebSocket。你可以在 startSession 中将 connectionType 设置为 'webrtc' 或 'websocket',明确选择连接方式。React、Swift 和 React Native SDK,以及 WebGL 构建中的 Unity SDK均支持 WebRTC。WebRTC 提供浏览器原生回声消除和背景噪声抑制功能,有助于保持 AI 对话中的音频清晰。
了解更多 ElevenAgents,或联系销售,开始大规模使用 对话式 AI 智能体。
常见问题
Jack Limebear 隶属于增长团队,负责博客和洞察页面的内容撰写与策略。加入 ElevenLabs 前,他曾在多家快速成长的 SaaS 初创公司和世界 500 强企业,拥有十余年内容策略管理经验。剑桥大学英语文学硕士。



