Como criamos uma mesa de efeitos sonoros usando a API SFX da ElevenLabs

Imagine uma mesa de efeitos sonoros capaz de gerar sons ilimitados sob demanda. Foi exatamente isso que criamos na ElevenLabs — conheça o SB1, nossa mesa de efeitos sonoros infinita. À primeira vista, ela parece uma grade comum de pads que você aciona com cliques ou atalhos de teclado. Por trás dela, está nosso modelo de áudio com IA de efeitos sonoros a partir de texto.

Para usar, basta descrever qualquer som que você imaginar, e o SB1 vai gerá-lo. Também há alguns sons padrão predefinidos, mas até eles podem ser substituídos.

Da ideia ao protótipo

Começamos com uma pergunta simples: e se você pudesse digitar uma descrição, como “sons suaves de uma floresta ao fundo” ou “suspiro dramático da plateia”, e receber um efeito sonoro pronto para usar?

Mesas de efeitos sonoros tradicionais dependem de bibliotecas estáticas de MP3 que você precisa procurar online. Mesmo quando encontra um som adequado, muitas vezes ele não é “exatamente” o que você queria. Mas, com a IA generativa, isso deixou de ser um problema. Você não está mais limitado.

Antes de começar a programar, usamos o Lovable para criar uma versão básica do protótipo que se tornaria o SB1. Ainda sem conexão com a API, ele nos permitiu experimentar escolhas de design e posicionamentos dos botões antes de nossa excelente equipe criar a interface e o código finais.

Queríamos conteúdo dinâmico — qualquer som, gerado na hora. O núcleo da nossa solução é a API SFX da ElevenLabs. A API funciona por meio de um único endpoint:

POST https://api.elevenlabs.io/v1/sound-generation

Você envia uma carga JSON com seu prompt, o número de variações desejadas (o padrão é quatro) e sua chave de API no cabeçalho Authorization.

A resposta retorna uma matriz de URLs que apontam para arquivos WAV gerados. A partir daí, você pode transmitir ou baixar e atribuir cada clipe a um pad. Você pode até configurar a repetição. Use prompts descritivos para obter mais detalhes.

Uma solicitação de exemplo é assim:

{
  "prompt": "rain hitting the roof of a tent",
  "n": 4,
  "format": "wav"
}

E você receberá uma matriz com quatro URLs. Projetamos a API para que ela se adapte a qualquer caso de uso — desde a criação pontual de mesas de efeitos sonoros até a geração em massa de recursos para jogos.

Criando a interface do SB1

Com a API pronta, partimos para o front-end. O SB1 é um app web desenvolvido com React e Tailwind CSS. Cada componente de pad tem dois modos:

1. Predefinição: carrega um conjunto salvo de URLs de sons
2. Personalizado: gerado pelo usuário com a API SFX

Quando você clica em um pad vazio no modo personalizado, uma caixa de diálogo de prompt aparece. Você digita sua descrição, clica em Gerar, e a API retorna quatro opções. Você as ouve diretamente ali, escolhe sua favorita, e o pad é atualizado na hora. As associações de teclado permitem acionar os pads com teclas, para que você possa tocar ritmos ou efeitos sonoros ao vivo.

Também adicionamos controles de repetição. Basta pressionar o botão de loop, tocar no som que deseja repetir e ele continuará tocando até que você o solte. Isso torna o SB1 útil não só para brincadeiras — pense em baterias eletrônicas e atmosferas ambientes —, mas também para podcasts, efeitos sonoros em lives e meditações guiadas.

Exemplos na prática

Paisagem sonora ambiente

• Chuva leve: "chuva leve pingando nas folhas"

• Chuva forte: "chuva forte caindo sobre um telhado de zinco"

• Ondas do oceano: ondas suaves chegando à praia

Geramos cada um enviando prompts como “chuva leve pingando nas folhas” e “ondas suaves chegando à praia”. Depois, configuramos esses pads para repetição, criando um som de fundo para foco ou meditação.

Bateria eletrônica

• Bumbo 808: "bumbo 808 com graves superintensos"

• Batida de caixa: "estalo seco de caixa"

• Prato aberto: "prato aberto ressoando"

Você não precisa de amostras de áudio de uma biblioteca de bateria. Basta descrever “bumbo 808 com graves superintensos” ou “estalo seco de caixa”, e a API oferece quatro versões para você ouvir. Nós as mapeamos para as teclas A, S e D em uma demonstração de performance ao vivo.

Se você realmente quiser levar o modelo ao limite, também pode usá-lo para criar trechos curtos de voz com o som de um personagem. Basta especificar o personagem e colocar as palavras entre aspas.

• DJ animado: DJ animado dizendo "Vamos começar a festa"

• Orc em uma missão: Orc com voz ríspida dizendo: "Esta sala está acima da capacidade"

• Canto de sereia: Vocal feminino assombroso cantando: "Está na hora de ir para casa dormir, a festa acabou"

Predefinições personalizadas

Você pode salvar e nomear suas próprias predefinições — por exemplo, “Efeitos para live” com suspiro, risada e aplausos. Depois de criar sua mesa, clique em Compartilhar para copiar um link ou publicar diretamente nas redes sociais. Qualquer pessoa com o link carrega sua configuração do SB1 e pode reproduzir os sons que você selecionou.

Principais pontos para desenvolvedores

• Geração sem estado: cada chamada de API é independente. Você não precisa gerenciar um pipeline de treinamento nem armazenar grandes bibliotecas de amostras — basta armazenar em cache os URLs usados na sua interface.
• Baixa latência: o tempo de geração típico é inferior a dois segundos, o que parece instantâneo ao demonstrar o recurso.
• Escalável: você pode gerar centenas de sons em lote e em paralelo e depois armazená-los em sua própria CDN para usos de alto tráfego.
• Formatos flexíveis: WAV para a maior fidelidade, MP3 se você precisar de arquivos menores.

Para começar, confira nossa documentação. Você encontrará exemplos de código em JavaScript, Python e cURL que mostram como integrar a API SFX aos seus projetos.

O que vem a seguir?

O SB1 é apenas uma demonstração do que nosso modelo de efeitos sonoros pode fazer. Estamos explorando plugins para OBS e estações de trabalho de áudio digital, para que você possa gerar novos sons sem sair do seu software de streaming ou produção. Também estamos ajustando o modelo para melhorar o desempenho em prompts relacionados a música — pense em percussões exóticas ou texturas de sintetizador.

Se você criar algo legal, queremos ver. Marque-nos nas redes sociais ou compartilhe o link da sua predefinição. Seja você streamer, podcaster, desenvolvedor de jogos ou apenas alguém que adora brincar com sons, o SB1 e a API SFX colocam criatividade sonora ilimitada ao seu alcance.

Experimente grátis hoje — sem precisar de uma biblioteca de MP3.