Como criar um assistente de voz com IA: IA de voz alinhada à marca

Imagine ligar para uma loja para pedir um reembolso, ser recebido por uma IA semelhante a um humano e receber o dinheiro na sua conta bancária em minutos. Toda a interação acontece de forma integrada, sem a necessidade de atendentes humanos. Antes considerados ficção, os assistentes de voz com IA capazes de lidar com casos de uso complexos agora são realidade. 

Cada vez mais empresas adotam assistentes de voz com IA em aplicações voltadas ao cliente. Impulsionados por agentes de voz de última geração e IA generativa, esses assistentes oferecem correspondência de intenção, respostas de baixa latência e integrações funcionais para diversos casos de uso. 

Com ferramentas como o ElevenAgents, ficou mais fácil do que nunca incorporar assistentes de voz aos seus fluxos de trabalho de atendimento ao cliente. Para criar um assistente de voz com IA, defina a função que ele deve desempenhar e conecte Speech to Text, um LLM e Text to Speech em um único pipeline em tempo real. Adicione sua base de conhecimento e ferramentas de negócio, escreva instruções de sistema e regras de fallback, teste latência e segurança e meça os resultados após o lançamento.

Este guia mostra como criar um assistente de voz com IA que se alinhe de perto à sua marca. 

Resumo

• Um assistente de voz com IA conecta Speech to Text, um LLM e Text to Speech para criar IA conversacional capaz de executar ações. 
• Mantenha o tempo de resposta total abaixo de 500 ms com detecção de atividade de voz (VAD), para que a voz IA soe natural e reduza o abandono de chamadas.
• Integre à base de conhecimento e às ferramentas internas para oferecer respostas de IA contextualizadas, precisas e úteis em diferentes cenários.
• Aplique proteções que exijam confirmação verbal explícita e transfira para um atendente humano ao lidar com solicitações complexas ou emocionalmente carregadas.
• Use a ElevenAPI para acessar modelos interativos de voz e áudio de alta precisão, desenvolvidos para interações ao vivo. 

O que é um assistente de voz com IA? 

Um assistente de voz com IA é um software que entende a linguagem falada e permite que os usuários interajam com sistemas conectados. Ele combina Speech to Text, modelos de IA e tecnologias de Text to Speech para transformar conversas em ações. 

Além de transcrever texto, assistentes de voz com IA podem realizar tarefas, como abrir um app, recuperar dados e controlar máquinas. Dependendo do modelo de voz usado, alguns assistentes de IA podem soar praticamente indistinguíveis de gravações humanas.

No entanto, assistentes de voz com IA não são uma tecnologia nova. Muitos consumidores usam Siri, Alexa e Google Assistant, assistentes de voz comerciais que respondem a comandos simples. Mas, à medida que as tecnologias de IA evoluem, mais organizações desenvolvem assistentes de voz com IA para fluxos de trabalho empresariais mais complexos. 

Por exemplo, a Admiral, uma seguradora, criou um assistente de voz com IA para atender milhões de clientes. O assistente de IA responde a dúvidas, recupera documentos e libera os atendentes humanos de tarefas repetitivas. 

Se você pretende criar um assistente de voz com IA para fluxos de trabalho comerciais ou industriais, continue lendo. Vamos mostrar as etapas para criar um, usando um exemplo de assistente de voz com IA em Python para destacar detalhes importantes de implementação. 

Como criar um assistente de voz com IA: defina a função do seu agente de voz com IA 

A IA de voz costuma automatizar o atendimento ao cliente em call centers. No entanto, considerando as amplas capacidades de um agente de voz com IA, você pode criar um assistente de voz com IA para praticamente qualquer caso de uso, incluindo vendas, produto e RH. 

Independentemente da aplicação do seu agente de voz, verifique se ela está alinhada à lógica de negócio. Para criar um assistente de voz de alto desempenho, consulte especialistas do domínio sobre os desafios mais comuns dos usuários finais. Depois, mapeie a jornada de interação do cliente e defina indicadores mensuráveis. 

Por exemplo, se você usa IA de voz em um funil de vendas, o agente precisa fazer perguntas de pré-qualificação. 

Nosso representante de desenvolvimento de vendas com IA (SDR), Dom, fez isso e alcançou 92% de precisão na qualificação. 

Escolha métricas de sucesso, canais e caminhos de escalonamento

Quando implantado em um ambiente empresarial, o agente deve apresentar desempenho consistente em relação a metas específicas. Quanto mais restrita a meta, mais fácil será avaliar e ajustar o agente.

Por isso, faça perguntas como estas logo no início do desenvolvimento:

• Qual é a latência de resposta aceitável? 
• Qual é a taxa de contenção esperada? 
• O agente precisa conversar em vários idiomas? 
• O assistente de IA consegue atender solicitações básicas do início ao fim sem intervenção humana?
• Em quais circunstâncias o agente deve escalar para o suporte humano? 

Criar com APIs brutas ou usar o ElevenAgents?

Antes de escrever código, decida quanto da stack de voz você quer controlar. Você pode conectar Speech to Text, um LLM e Text to Speech por conta própria pela ElevenAPI ou usar o ElevenAgents, uma plataforma gerenciada que reúne esses componentes.

Criar com APIs brutas dá a você controle total sobre cada camada. Você escolhe o LLM, escreve o código de orquestração e gerencia a tomada de turno, o tratamento de interrupções, a telefonia e o monitoramento. Esse caminho é adequado para equipes com requisitos específicos de arquitetura e é o seguido pelo guia em Python deste artigo.

O ElevenAgents reúne modelos, ferramentas, uma base de conhecimento e workflows em um único painel. Ele se conecta a provedores de telefonia, como Twilio e Amazon Connect, e a ferramentas de negócio como Salesforce, Zendesk e HubSpot. Também inclui simulações e testes automatizados antes do lançamento, além de análises posteriores sobre taxa de sucesso, CSAT e transcrições.

Use estas perguntas para escolher:

• Velocidade: o ElevenAgents permite que uma equipe configure e lance um agente pelo painel, enquanto APIs brutas exigem criar e manter todo o pipeline.
• Controle: APIs brutas permitem personalizar cada etapa no código, enquanto o ElevenAgents atende necessidades comuns por configuração.
• Operações: o ElevenAgents inclui testes e análises, enquanto APIs brutas exigem que você crie seu próprio monitoramento.
• Equipe: o ElevenAgents é indicado para equipes mistas de produto, suporte e operações, enquanto APIs brutas são adequadas para equipes com engenheiros dedicados.

Uma abordagem prática é validar primeiro o caso de uso no ElevenAgents e só então mover camadas específicas para código personalizado quando precisar de mais controle.

Mapeie a arquitetura do assistente de voz com IA 

Depois de definir o objetivo de negócio, associe as funções do agente às tecnologias certas. Um assistente de voz com IA depende de vários componentes essenciais que trabalham juntos para converter fala em texto, acionar ações e fornecer uma resposta coerente. 

• Um modelo de Speech to Text captura enunciados verbais, identifica fonemas e produz transcrições da conversa. 
• Um mecanismo de IA, que pode variar de um algoritmo simples baseado em regras ou uma biblioteca de processamento de linguagem natural a um modelo de linguagem grande (LLM), atua como o cérebro do assistente de voz. 
• Um modelo de Text to Speech sintetiza respostas conversacionais usando vozes semelhantes às humanas e segue as diretrizes da marca. 

A ElevenLabs oferece modelos de voz e áudio Speech to Text e Text to Dialogue que ajudam equipes de produto e engenharia a projetar seus assistentes de voz com IA. Nossos modelos oferecem entonação sutil, percepção emocional e baixa latência de resposta. Você pode acessar os modelos de voz pela ElevenAPI. 

Para modelos de IA, a escolha depende muito dos objetivos e requisitos do assistente de voz. Embora LLMs, como os modelos GPT da OpenAI, Gemini e Claude, se destaquem em raciocínio, eles precisam de ajuste adicional para atender a necessidades específicas do domínio. Às vezes, é mais prático usar uma rede neural mais simples ou um analisador baseado em regras. 

Além dos modelos de voz e IA, você também precisa de software personalizado que extraia entidades específicas de conversas ou solicitações de usuários. Por exemplo, quando alguém diz “Quero falar com o Departamento de Vendas”, seu código precisa identificar “Departamento de Vendas” e acionar a ação adequada.

Crie chaves de API e conecte Speech to Text, um LLM, ferramentas e Text to Speech

Antes de se conectar aos modelos de fala e linguagem. Da mesma forma, você precisa de chaves de API para fazer solicitações à API ao integrar ferramentas de serviços externos ao seu assistente de voz. 

• Para criar uma chave de API da ElevenLabs, clique aqui. 
• Para usar um LLM da OpenAI, obtenha sua chave aqui. 
• Se você estiver se conectando a CRMs, ERPs e outras ferramentas de terceiros, consulte a documentação oficial para criar uma chave de API e encontrar APIs compatíveis. 

Depois de obter as chaves de API, armazene-as no seu ambiente de desenvolvimento. 

Em seguida, inicialize e acesse as ferramentas, o LLM e os modelos de áudio passando os argumentos corretos para a API. 

1. Primeiro, conecte-se ao ElevenLabs Scribe v2 Realtime para realizar reconhecimento automático de fala. O ElevenLabs Scribe v2 Realtime permite criar agentes de voz de baixa latência que transformam conversas em texto em menos de 150 ms (sem incluir o tempo de rede e aplicação). 

Abaixo há um trecho de código Python que captura a gravação do microfone com o ElevenLabs Scribe v2 Realtime.

async def run(
    self,
    audio_queue: asyncio.Queue[bytes],
    on_partial: Callable[[str], None],
    on_committed: TranscriptHandler,
) -> None:
    audio_format = AudioFormat(f"pcm_{self.settings.audio_sample_rate}")
    connection = await self.client.speech_to_text.realtime.connect(
        RealtimeAudioOptions(
            model_id="scribe_v2_realtime",
            audio_format=audio_format,
            sample_rate=self.settings.audio_sample_rate,
            commit_strategy=CommitStrategy.VAD,
            vad_silence_threshold_secs=0.45,
            min_speech_duration_ms=120,
        )
    )

2. Em seguida, envie a transcrição a um LLM com fortes capacidades de raciocínio para gerar uma resposta. Neste exemplo, usamos o OpenAI GPT-4o mini. 

Veja como enviar uma transcrição a um LLM no seu código Python. 

async def _stream_completion(self) -> tuple[str, list[dict[str, str]]]:
    response = await self.client.chat.completions.create(
        model=self.settings.openai_model,
        messages=[self.messages[0], *self.messages[-12:]],
        tools=TOOLS,
        tool_choice="auto",
        parallel_tool_calls=False,
        temperature=0.4,
        stream=True,
    )

3. Depois de receber a saída do LLM, converta-a em uma resposta verbal realista com ElevenLabs v4 Turbo. Nosso modelo de Text to Speech é altamente expressivo, desenvolvido para interação em tempo real e tem latência ultrabaixa de cerca de 100 ms (refere-se apenas ao tempo de inferência do modelo; a latência real de ponta a ponta varia conforme fatores como sua localização e o tipo de endpoint usado).

O código abaixo mostra o agente usando um WebSocket para transmitir respostas de voz com a API Text to Dialogue da ElevenLabs.

async def stream(self, text: str) -> AsyncIterator[bytes]:
    query = urlencode(
        {
            "model_id": self.settings.elevenlabs_tts_model_id,
            "output_format": "pcm_24000",
        }
    )
    url = f"wss://api.elevenlabs.io/v1/text-to-dialogue/stream-input?{query}"
    voice_id = self.settings.elevenlabs_voice_id


    async with websockets.connect(url, max_size=2**20, ping_interval=20) as socket:
        await socket.send(
            json.dumps(
                {
                    "voices": [voice_id],
                    "xi_api_key": self.settings.elevenlabs_api_key,
                }
            )
        )
        await socket.send(
            json.dumps(
                {
                    "inputs": [
                        {"text": text, "voice_id": voice_id, "new_turn": False}
                    ]
                }
            )
        )
        await socket.send(json.dumps({"close_socket": True}))

Seu agente de reconhecimento automático de fala deve lidar bem com conversas de vários turnos. Para isso, você precisa de um agente de voz capaz de saber quando a fala começa e termina. 

Projete conversas que soem naturais e mantenham o foco  

Sistemas convencionais de resposta interativa por voz (IVR) não funcionam além dos cenários para os quais foram programados. Quando recebem problemas não definidos em suas regras, esses IVRs não conseguem fornecer respostas satisfatórias. Além disso, eles nem sempre soam naturais, o que prejudica a experiência do cliente.

Com modelos avançados de IA e voz, um assistente de voz pode responder de forma mais natural e lidar com casos extremos. Você pode projetar diferentes cenários que o agente deve antecipar e um caminho de escalonamento para casos que ele não consegue resolver. Por exemplo, alguns clientes ligam para perguntar sobre o status da entrega, enquanto outros podem estar frustrados com produtos defeituosos e insistir em falar com um gerente de CX. 

Escreva instruções de sistema, regras de tomada de turno e respostas de fallback

Para lidar com diferentes cenários, você cria códigos específicos de tratamento de lógica e prompts de sistema no aplicativo do agente de voz com IA. 

Por exemplo, o prompt de sistema abaixo detecta frustração e instrui o LLM a responder com mais empatia. 

SYSTEM_PROMPT = ""You are a calm, empathetic voice assistant for customer support.
Speak naturally in short, clear sentences that are easy to hear. Answer from
retrieved company information when relevant; say when the answer is uncertain
rather than inventing a policy. Use tools for customer lookup and support
requests. Before creating a ticket or transferring a caller, request explicit
verbal confirmation through the tool flow and wait for a clear yes. Never ask
for passwords, full payment card numbers, or authentication codes. Do not claim
a ticket was created, a contact was found, or a transfer completed unless the
tool confirms it. Keep responses concise and avoid markdown when speaking.
"""

As conversas com IA nunca devem parecer apressadas nem interrompidas. O modelo de voz precisa detectar quando o usuário parou de falar e responder no momento certo. O ElevenLabs Scribe v2 Realtime permite ativar o VAD ao ouvir a entrada do microfone. Diferentemente do VAD convencional, que depende apenas da duração do silêncio, o ElevenLabs Scribe v2 Realtime usa algoritmos de deep learning para determinar se um cliente terminou de falar. 

Para ativar o VAD, defina o parâmetro no seu código ao interagir com a API Speech to Text. 

commit_strategy=CommitStrategy.VAD,

Em seguida, forneça respostas de fallback corteses e respeitosas caso o agente não consiga responder satisfatoriamente à solicitação do cliente. Da mesma forma, um agente de IA pode encontrar um erro ao transcrever conversas. Seu código deve lidar com dificuldades técnicas e comunicar isso abertamente aos clientes. 

Para fornecer respostas de fallback, use lógica condicional no código. Por exemplo, o trecho de código abaixo captura o status de erro da API Speech to Text e aciona as respostas adequadas. 

connection.on(RealtimeEvents.ERROR, handle_error)
connection.on(RealtimeEvents.AUTH_ERROR, handle_error)
connection.on(RealtimeEvents.CLOSE, stopped.set)

Crie a camada de conhecimento e ferramentas para respostas confiáveis 

LLMs oferecem fortes capacidades de raciocínio, permitindo que um assistente de voz com IA responda naturalmente. No entanto, uma resposta conversacional nem sempre implica precisão. Sem dados de embasamento, LLMs podem alucinar, fazendo com que o agente de voz forneça respostas plausíveis, mas imprecisas. 

Por exemplo, quando você pergunta ao GPT-4o mini sobre um produto lançado recentemente, ele não consegue fornecer uma resposta com segurança. Para isso, conecte o LLM à sua base de conhecimento interna com um sistema de geração aumentada por recuperação (RAG). O RAG permite que o LLM consulte guias internos de produtos e produza uma resposta precisa. 

Adicione recuperação, ações de API, permissões e transferências para humanos

Para usar RAG, você precisa criar um banco de dados vetorial. Um banco de dados vetorial armazena documentos como representações numéricas em um espaço multidimensional. O trecho de código a seguir mostra como o agente de voz recupera documentos relevantes do armazenamento vetorial antes de consultar o LLM. 

def search(self, query: str, top_k: int = 3) -> list[dict[str, str | float]]:
    query_vector = _vectorize(query)
    ranked = sorted(
        (
            (_cosine(query_vector, chunk.vector), chunk)
            for chunk in self.chunks
        ),
        key=lambda item: item[0],
        reverse=True,
    )
    return [
        {"source": chunk.source, "text": chunk.text, "score": score}
        for score, chunk in ranked[: max(0, top_k)]
        if score > 0

Além de RAG, seu assistente de voz com IA provavelmente precisará acessar CRM, ERP e outros sistemas empresariais. Isso permite que o agente de voz apresente informações necessárias, como dados de clientes, transações históricas e tendências de mercado, como contexto ao elaborar respostas.

Por exemplo, você pode integrar a ElevenLabs ao HubSpot usando APIs. Assim, você pode resolver problemas comuns usando a base de conhecimento do CRM, criar tickets e escalar o suporte com todo o contexto da conversa. 

Aqui está um trecho de código que permite ao agente de voz criar um ticket de suporte no HubSpot.

esponse = await self.client.post(
    "/crm/v3/objects/tickets",
    json={
        "properties": {
            "subject": title,
            "content": description,
            "hs_pipeline": "0",
            "hs_pipeline_stage": "1",
        }
    },
)
response.raise_for_status()
ticket = response.json()
if contact_email:
    contact_response = await self.search_contact(contact_email)
    results = contact_response.get("results", [])
    if results:
        await self.client.put(
            f"/crm/v4/objects/tickets/{ticket['id']}/associations/contacts/{results[0]['id']}",
            json=[{"associationCategory": "HUBSPOT_DEFINED", "associationTypeId": 16}],
        )
return {"mode": "live", "id": ticket.get("id"), "title": title}

Embora agentes de voz com IA possam acelerar a resolução de problemas, os clientes precisam conhecer suas opções, especialmente quando as alterações podem afetar significativamente suas contas. Diferentemente de chatbots baseados em texto, listar opções verbalmente exige mais proteções. Depois que fazem uma escolha, pode ser difícil revertê-la em uma chamada.

Nesse caso, recomendamos autenticar a pessoa que liga e solicitar confirmação verbal. Por exemplo, se o cliente quiser cancelar uma compra, seu agente de voz deve perguntar explicitamente: “Tem certeza de que deseja cancelar o pedido?” e aguardar uma resposta. 

Mostramos um exemplo abaixo. 

def request(self, name: str, arguments: dict[str, Any]) -> str:
    self.pending = PendingAction(name=name, arguments=arguments)
    if name == "create_support_ticket":
        return "I can create that support ticket. Would you like me to submit it?"
    return "I can transfer you to a human support agent. Should I start the transfer?"

def resolve(self, text: str) -> tuple[ConfirmationState, PendingAction | None]:
    if self.pending is None:
        return ConfirmationState.NONE, None

    answer = re.sub(r"[^a-z']+", " ", text.lower()).strip()
    if answer in {
        "yes", "yes please", "yeah", "yeah please", "yep", "sure",
        "please do", "confirm", "do it",
    }:
        action, self.pending = self.pending, None
        return ConfirmationState.CONFIRMED, action
    if answer in {"no", "nope", "dont", "do not", "cancel", "stop"}:
        self.pending = None
        return ConfirmationState.DECLINED, None
    return ConfirmationState.PENDING, None

Como verificar a identidade de quem liga com um agente de voz com IA

Antes de um agente de voz com IA compartilhar detalhes da conta ou fazer alterações nela, ele deve confirmar com quem está falando. O número de telefone de quem liga é um sinal útil, mas não comprova a identidade. Combine-o com outras verificações:

• Associe o número de quem liga a um registro de cliente no seu CRM.
• Peça detalhes que apenas o titular da conta saberia, como a data de um pedido recente.
• Valide as respostas com uma chamada de ferramenta em seus registros e nunca dependa do LLM para avaliar se estão corretas.
• Limite o que uma pessoa não verificada pode fazer, permitindo, por exemplo, consultar o status de pedidos, mas não cancelá-los.

Mantenha senhas, números completos de cartões de pagamento e códigos de autenticação fora da conversa, conforme instruído pelo prompt de sistema acima.

Agente de voz com IA com transferência de chamada ao vivo e escalonamento

Uma transferência ao vivo encaminha a pessoa que liga a um atendente humano sem fazê-la repetir as informações. Em uma transferência assistida, o agente de voz passa a transcrição e o contexto ao humano antes de a chamada ser conectada. Gatilhos comuns incluem:

• A pessoa que liga pede para falar com alguém.
• A pessoa que liga parece frustrada ou a conversa se torna emocionalmente carregada.
• O agente não consegue resolver a solicitação após suas respostas de fallback.
• A solicitação exige uma ação que requer aprovação humana.

Em alguns casos, o agente de IA precisa escalar a chamada para um atendente humano. Muitas vezes, o agente de voz detecta intenções que indicam frustração ou palavras específicas que acionam a transferência. No seu código, a transferência da chamada deve acontecer de forma integrada e imperceptível para os clientes. 

Antes da troca, você transfere a transcrição, os dados do cliente e outros contextos de apoio para a equipe de suporte ao vivo. A ElevenLabs oferece uma ferramenta de transferência para número que direciona chamadas atendidas por agentes de IA para um tronco SIP ou número de telefone Twilio.

O trecho de código abaixo mostra uma transferência para conferência do Twilio. 

account = self.settings.twilio_account_sid
call_sid = self.settings.twilio_call_sid
conference = f"support-{call_sid}"
room = xml.sax.saxutils.escape(conference)
twiml = f"<Response><Dial><Conference>{room}</Conference></Dial></Response>"
api = f"https://api.twilio.com/2010-04-01/Accounts/{account}"
auth = (account, self.settings.twilio_auth_token)
async with httpx.AsyncClient(timeout=15.0, auth=auth) as client:
    agent_call = await client.post(
        f"{api}/Calls.json",
        data={
            "To": self.settings.handoff_number,
            "From": self.settings.twilio_from_number,
            "Twiml": twiml,
        },
    )
    agent_call.raise_for_status()
    caller_call = await client.post(
        f"{api}/Calls/{call_sid}.json",
        data={"Twiml": twiml},
    )
    caller_call.raise_for_status()

Crie um assistente de voz com IA sem código no ElevenAgents

Se você não precisa de código personalizado, pode lançar o mesmo assistente no ElevenAgents. As etapas espelham a arquitetura acima, mas você configura cada camada em um painel em vez de escrevê-la.

1. Crie um agente e descreva sua função no prompt de sistema, incluindo tom, escopo e quando escalar.
2. Escolha uma voz na Voice Library, crie ou clone a sua própria e defina os idiomas que o agente deve falar.
3. Adicione sua base de conhecimento para que o agente possa responder com base nos seus próprios documentos.
4. Conecte ferramentas e integrações, como seu CRM ou central de ajuda, para que o agente possa executar ações.
5. Configure a transferência para um atendente humano em chamadas que o assistente não consegue resolver.
6. Execute simulações e testes automatizados para verificar o comportamento antes do lançamento.
7. Implante o agente em um número de telefone ou canal e analise taxas de sucesso, CSAT e transcrições.

As orientações de teste e medição nas seções abaixo se aplicam tanto a soluções criadas com código quanto sem código.

Como criar um assistente de voz com IA que combine com sua marca 

As organizações podem adaptar a voz do agente de IA para refletir sua marca. Um tom consistente ao longo da conversa ajuda a gerar confiança. Com a ElevenLabs, há várias maneiras de personalizar a voz do seu agente de IA. 

• ElevenLabs Voice Library oferece mais de 20.000 vozes IA faladas naturalmente em mais de 90 idiomas. De enérgica a calma e confiante, você pode explorar e usar qualquer voz que combine com o tom da sua marca. 
• ElevenLabs Voice Design permite criar uma identidade vocal única com um prompt de texto. Descreva o ritmo, o tom, a emoção e outras características verbais para obter a voz que deseja. 
• Clonagem de voz IA da ElevenLabs cria uma réplica digital da sua voz analisando uma amostra das suas gravações de fala. 

Além de acertar a emoção e as nuances, também é importante auditar a pronúncia da voz IA, especialmente em nomes específicos. Se necessário, crie um dicionário de pronúncia que seu modelo de voz possa consultar. 

Teste latência, interrupções, precisão e segurança antes do lançamento 

Antes do lançamento, teste rigorosamente seu agente de voz com IA para garantir que ele tenha desempenho confiável em diferentes cenários. 

• Teste de latência: um agente que leva mais de 700 ms para responder soará artificial para os clientes. Dependendo da sua configuração, a velocidade da rede, o LLM, os modelos de voz e APIs de terceiros podem afetar a latência. O ideal é manter a latência conversacional abaixo de 500 ms. 
• Teste de interrupção: verifique se o agente lida com interrupções no meio da conversa. Especificamente, ele deve descartar frames de áudio de saída, interromper o TTS e retomar a captura da entrada verbal sem perder o contexto. 
• Teste de tomada de turno: quando o usuário para de falar, o agente deve assumir naturalmente. Avalie se ele assume no momento certo e se interrompe durante a fala. Para um guia detalhado, veja como a ElevenLabs lida com a tomada de turno. 
• Teste de precisão: qualquer imprecisão na camada de STT se propaga para as etapas seguintes. Garanta que o assistente de voz entenda a fala mesmo em ambientes barulhentos. Além disso, o modelo de voz deve transcrever com precisão a fala em diferentes sotaques de forma consistente. 
• Teste de segurança: garanta que as proteções impeçam comportamentos do sistema que violem a política da marca. Se uma interação se tornar emocionalmente carregada, o agente deverá facilitar uma transferência assistida para um atendente humano conforme diretrizes predefinidas.

Meça resultados e aprimore o desenvolvimento do seu assistente de voz 

Cumprir os critérios de testes internos prepara seu agente de voz com IA para a implantação no mundo real. No entanto, esse não é o objetivo final do ciclo de desenvolvimento. A iteração após a implantação é igualmente importante para garantir que seu agente de voz com IA continue resolvendo as solicitações dos clientes.

Use o feedback das métricas de IA conversacional para identificar lacunas no seu assistente de IA. Depois, refine gradualmente a lógica da aplicação, as integrações de API, as escolhas de modelo e outros componentes da stack tecnológica para melhorar o desempenho da IA conversacional.

Acompanhe contenção, resolução, satisfação do cliente e modos de falha

Meça continuamente seu assistente de IA em comparação com referências do setor. Algumas métricas a acompanhar incluem: 

• Contenção: acompanha quantas conversas são resolvidas com sucesso pelo agente de IA. 
• Taxa de escalonamento: mede as chamadas que acabam exigindo intervenção humana. 
• Taxa de erro de palavras: uma referência de precisão que indica quão precisamente a IA transcreve o áudio. 
• Taxa de alucinação: destaca ocorrências em que LLMs geram respostas imprecisas, mas plausíveis. 
• CSAT: feedback dos clientes que indica o quanto eles estão satisfeitos com o agente de voz com IA. 

Saiba mais sobre métricas de IA conversacional.

Comece a usar a ElevenAPI para assistentes de voz com IA 

ElevenAPI simplifica o desenvolvimento de assistentes de voz com IA. Com modelos líderes de Text to Speech e Speech to Text, você pode criar agentes de IA conversacional contextualizados que se encaixam perfeitamente no seu workflow empresarial. Nossos modelos de voz e áudio oferecem alta precisão e baixa latência de forma consistente, possibilitando uma experiência natural ao cliente. 

Obtenha sua chave de API da ElevenAPI aqui e explore nossa documentação oficial para começar a criar. 

Perguntas frequentes: criando um assistente de voz com IA