推出 Eleven v4认识 Eleven v4:迄今情感表现最丰富的模型。

跳至内容

我们如何使用 ElevenLabs SFX API 创建音效板

发布时间
最近更新

收听收听本文

想象一下,一个能按需生成无限音效的音效板。这正是 ElevenLabs 打造的产品——认识一下 SB1,我们的无限音效板。它看起来像常见的网格按键,可通过点击或键盘快捷键触发;其核心则由我们的文本音效生成 AI 音频模型驱动。

只需描述你能想到的任意声音,SB1 就会生成出来。它也提供一些预设默认音效,但这些音效同样可以替换。

从想法到原型

我们从一个简单的问题开始:如果你输入“柔和的森林环境音”或“戏剧性的观众倒吸气声”这样的描述,就能获得可直接使用的音效,会怎样?

传统音效板依赖静态 MP3 素材库,你得在网上四处搜寻。即使找到了合适的声音,也往往并非你想要的“完全”效果。但有了生成式 AI,这不再是问题,你不再受限。

SB1 Prototype

在开始编写代码前,我们借助 Lovable 创建了 SB1 的基础原型。它当时尚未接入 API,却让我们能先试验设计方案和按钮位置,之后再由出色的团队完成最终 UI 和代码。

我们希望内容是动态的——可即时生成任意声音。解决方案的核心是 ElevenLabs SFX API。该 API 只需一个端点:

POST https://api.elevenlabs.io/v1/sound-generation

发送一个 JSON 负载,其中包含提示词、所需的变体数量(默认 4 个),以及 Authorization 请求头中的 API 密钥。

响应会返回一个 URL 数组,指向生成的 WAV 文件。之后你可以流式播放或下载,并将每段音频分配到按键上,还可设置循环播放。使用描述更具体的提示词可获得更多细节。

Key API details

  • Headers:
    • Authorization: Bearer YOUR_API_KEY
    • Content-Type: application/json
  • Body parameters:
    • prompt (string): description of the sound
    • n (integer): number of variations (1–10)
    • format (string, optional): wav or mp3 (defaults to wav)

示例请求如下:

{
  "prompt": "rain hitting the roof of a tent",
  "n": 4,
  "format": "wav"
}

随后会收到 4 个 URL 组成的数组。我们将 API 设计为可适配各种用例——从临时创建音效板,到批量生成游戏素材。

构建 SB1 界面

API 就绪后,我们开始构建前端。SB1 是使用 React 和 Tailwind CSS 开发的 Web 应用。每个按键组件提供两种模式:

  1. 预设:从已保存的音效 URL 集合加载
  2. 自定义:通过 SFX API 由用户生成

在自定义模式下点击空白按键,便会出现提示词对话框。输入描述并点击生成,API 会返回 4 个选项。你可以直接试听,选出最喜欢的版本,按键会立即更新。通过键盘绑定,也能用按键触发音效,实时演奏节奏或播放音效提示。

我们还加入了循环控制。只需按下循环按钮,再点击要循环的声音,它会持续播放,直到松开为止。这让 SB1 不仅适合玩乐——例如制作鼓机和环境氛围——也适用于播客、直播音效提示和引导冥想。

实际示例

环境音景

  • 小雨:“雨滴轻落在树叶上”
00:00
00:00
  • 大雨:“大雨落在铁皮屋顶上”
00:00
00:00
  • 海浪:“轻柔的海浪拍向岸边”
00:00
00:00

我们通过发送“雨滴轻落在树叶上”和“轻柔的海浪拍向岸边”等提示词,生成了这些声音。然后将对应按键设为循环播放,营造适合专注或冥想的背景音。

鼓机

  • 808 底鼓:“低频极强的 808 底鼓”
00:00
00:00
  • 军鼓击打:“紧实清脆的军鼓声”
00:00
00:00
  • 开镲:“延续回响的开镲声”
00:00
00:00

无需从鼓组素材库中寻找音频采样。只要描述“低频极强的 808 底鼓”或“紧实清脆的军鼓声”,API 就会提供 4 个版本供你试听。我们将它们映射到 A、S 和 D 键,用于现场演示。

如果想进一步挑战模型,也可以用它创建带有角色音色的短语音片段。只需指定角色,再将台词放入引号中。

  • 亢奋 DJ:亢奋的 DJ 说:“让我们开始派对吧”
00:00
00:00
  • 执行任务的兽人:兽人用粗哑的声音说:“这个房间人数已满”
00:00
00:00
  • 海妖之歌:令人不安的女声唱道:“该回家睡觉了,派对结束了”
00:00
00:00

自定义预设

你可以保存并命名自己的预设——例如包含倒吸气声、笑声和掌声的“直播音效”。设置好音效板后,点击分享即可复制链接或直接发布到社交媒体。任何拥有链接的人都能加载你的 SB1 配置,播放你精心挑选的音效。

开发者要点

  • 无状态生成:每次 API 调用都相互独立。无需管理训练流程或存储大型采样库,只需在 UI 中缓存所用的 URL。
  • 低延迟:典型生成时间不到 2 秒,演示功能时几乎感觉不到等待。
  • 可扩展:可并行批量生成数百种声音,再将其存储到自己的 CDN,以应对高流量使用。
  • 灵活格式:WAV 提供最高保真度;如需更小的文件,可使用 MP3。

要开始使用,请查看我们的文档。其中提供 JavaScript、Python 和 cURL 代码示例,说明如何将 SFX API 集成到项目中。

接下来呢?

SB1 只是音效模型功能的一个演示。我们正在探索适用于 OBS 和数字音频工作站的插件,让你无需离开直播或制作软件即可生成新声音。我们也在微调模型,以提升其对音乐相关提示词的表现,例如异域打击乐或合成器音色纹理。

如果你打造了有趣的作品,我们很想看看。在社交媒体上 @ 我们,或分享你的预设链接。无论你是主播、播客创作者、游戏开发者,还是单纯喜欢玩声音的人,SB1 和 SFX API 都能让无限的音频创意触手可及。

立即免费试用——无需 MP3 素材库。

作者

Dul Zorigoo is a product designer working on the core product and mobile teams.

相关内容

用高质量 AI 音频创作