Como criamos uma mesa de som usando a SFX API da ElevenLabs

Imagine uma mesa de som que pode gerar sons ilimitados sob demanda. Foi exatamente isso que construímos na ElevenLabs — conheça o SB1, nossa mesa de som infinita. Na superfície, parece uma grade típica de pads que você aciona com cliques ou atalhos de teclado. Por trás, é alimentada pelo nosso modelo de áudio com IA de efeitos sonoros.

Para usá-la, você simplesmente descreve qualquer som que imaginar, e o SB1 o gerará. Existem também alguns sons padrão predefinidos, mas até eles podem ser substituídos.

Da ideia ao protótipo

Começamos com uma pergunta simples: e se você pudesse digitar uma descrição, como “sons suaves de floresta” ou “suspiro dramático da plateia,” e obter um efeito sonoro pronto para uso?

Mesas de som tradicionais dependem de bibliotecas de MP3 estáticas que você precisa procurar online. Mesmo que encontre um som adequado, muitas vezes não é ‘exatamente’ o que você queria. Mas com IA generativa, isso não é mais um problema. Você não está mais limitado.

Antes de mergulhar no código, recorremos à Lovable para criar uma versão protótipo básica do que se tornaria o SB1. Ainda não conectado à API, nos deu a chance de experimentar escolhas de design e posicionamento de botões, antes que nossa equipe brilhante criasse a interface final e o código.

Queríamos conteúdo dinâmico — qualquer som, gerado instantaneamente. O núcleo da nossa solução é a SFX API da ElevenLabs. A API está por trás de um único endpoint:

Você envia um payload JSON com sua solicitação, o número de variações que deseja (o padrão é quatro) e sua chave de API no cabeçalho de autorização.

A resposta retorna um array de URLs apontando para arquivos WAV gerados. A partir daí, você pode transmitir ou baixar e atribuir cada clipe a um pad. Você pode até definir looping. Use solicitações descritivas para mais detalhes.

Um exemplo de solicitação se parece com isto:

E você receberá de volta um array de quatro URLs. Projetamos a API para que ela se adapte a qualquer caso de uso — desde a criação ad hoc de mesas de som até a geração em massa para ativos de jogos.

Construindo a interface do SB1

Com a API em funcionamento, passamos para o front-end. O SB1 é um aplicativo web construído com React e Tailwind CSS. Cada componente de pad tem dois modos:

1. Predefinido: carrega de um conjunto salvo de URLs de som
2. Personalizado: gerado pelo usuário via SFX API

Quando você clica em um pad vazio no modo personalizado, um diálogo de solicitação aparece. Você digita sua descrição, clica em Gerar, e a API retorna quatro opções. Você as experimenta na hora, escolhe sua favorita, e o pad é atualizado imediatamente. As teclas de atalho permitem acionar pads com pressionamentos de tecla, para que você possa tocar ritmos ou sinais sonoros ao vivo.

Também adicionamos controles de looping. Basta pressionar o botão de loop, tocar o som que deseja repetir e ele continuará tocando até que você o solte. Isso torna o SB1 útil não apenas para piadas — pense em máquinas de ritmo e atmosferas ambientes — mas também para podcasting, sinais sonoros em transmissões ao vivo e meditações guiadas.

Exemplos em ação

Paisagem sonora ambiente

• Chuva leve: "chuva leve pingando nas folhas"

• Chuva forte: "chuva forte caindo em um telhado de zinco"

• Ondas do mar: ondas suaves rolando na praia

Geramos cada um enviando solicitações como “chuva leve pingando nas folhas” e “ondas suaves rolando na praia”. Depois configuramos esses pads para repetir, criando um pano de fundo para foco ou meditação.

Máquina de ritmos

• 808 kick: "808 kick super grave"

• Batida de caixa: "estalo de caixa apertado"

• Prato aberto: "prato aberto ressoando"

Você não precisa de amostras de áudio de uma biblioteca de bateria. Basta descrever “808 kick super grave” ou “estalo de caixa apertado”, e a API lhe dá quatro versões para experimentar. Mapeamos elas para as teclas A, S e D para uma demonstração de performance ao vivo.

Se você realmente quiser desafiar o modelo, também pode usá-lo para criar trechos curtos de voz no som de um personagem. Basta especificar o personagem e colocar as palavras entre colchetes.

• DJ animado: DJ animado dizendo "Vamos começar a festa"

• Orc em missão: Orc com voz rouca dizendo: "Esta sala está lotada"

• Canção da sereia: Vocal feminino assombroso cantando: "Hora de ir para casa, a festa acabou"

Predefinições personalizadas

Você pode salvar e nomear suas próprias predefinições — por exemplo, “FX para Transmissão ao Vivo” com suspiro, risada e aplausos. Depois de montar sua mesa, clique em Compartilhar para copiar um link ou postar diretamente nas redes sociais. Qualquer pessoa com o link carrega sua configuração do SB1 e pode tocar seus sons selecionados.

Dicas para desenvolvedores

• Geração sem estado: Cada chamada de API é independente. Você não precisa gerenciar um pipeline de treinamento ou armazenar grandes bibliotecas de amostras — basta armazenar em cache os URLs que usar na sua interface.
• Baixa latência: O tempo típico de geração é inferior a dois segundos, o que parece instantâneo quando você está demonstrando o recurso.
• Escalável: Você pode gerar centenas de sons em paralelo e armazená-los em seu próprio CDN para uso em alto tráfego.
• Formatos flexíveis: WAV para maior fidelidade, MP3 se precisar de arquivos menores.

Para começar, consulte nossa documentação. Você encontrará exemplos de código em JavaScript, Python e cURL que mostram como integrar a SFX API em seus projetos.

O que vem a seguir?

O SB1 é apenas uma demonstração do que nosso modelo de efeitos sonoros pode fazer. Estamos explorando plugins para OBS e estações de trabalho de áudio digital, para que você possa gerar novos sons sem sair do seu software de transmissão ou produção. Também estamos ajustando o modelo para melhorar o desempenho em solicitações relacionadas à música — pense em percussão exótica ou texturas de sintetizador.

Se você criar algo legal, queremos ver. Marque-nos nas redes sociais ou compartilhe seu link de predefinição. Seja você um streamer, podcaster, desenvolvedor de jogos ou apenas alguém que adora brincar com som, o SB1 e a SFX API colocam criatividade ilimitada em áudio ao seu alcance.

Experimente grátis hoje — sem necessidade de biblioteca de MP3.