Cómo crear un asistente de voz con IA: IA de voz alineada con tu marca

Imagina llamar a una tienda para solicitar un reembolso, que te reciba una IA con voz humana y recibir el dinero en tu cuenta bancaria en cuestión de minutos. Toda la interacción ocurre sin necesidad de personal de soporte humano. Lo que antes parecía ficción, los asistentes de voz con IA capaces de gestionar casos de uso complejos, ya es una realidad. 

Cada vez más empresas recurren a asistentes de voz con IA para aplicaciones de atención al cliente. Impulsados por agentes de voz de última generación e IA generativa, estos asistentes permiten identificar intenciones, responder con baja latencia e integrar funciones para distintos casos de uso. 

Con herramientas como ElevenAgents, es más fácil que nunca integrar asistentes de voz en tus flujos de trabajo de atención al cliente. Para crear un asistente de voz con IA, define la tarea que debe realizar y conecta Voz a Texto, un LLM y Texto a Voz en un único flujo en tiempo real. Añade tu base de conocimiento y herramientas de negocio, redacta instrucciones de sistema y reglas de respaldo, prueba la latencia y la seguridad, y mide los resultados tras el lanzamiento.

Esta guía muestra cómo crear un asistente de voz con IA estrechamente alineado con tu marca. 

Resumen

• Un asistente de voz con IA conecta Voz a Texto, un LLM y Texto a Voz para crear IA conversacional capaz de actuar. 
• Mantén el tiempo de respuesta de ida y vuelta por debajo de 500 ms con detección de actividad de voz (VAD), para que la voz IA suene natural y se reduzca el abandono de llamadas.
• Intégralo con la base de conocimiento interna y las herramientas para ofrecer respuestas de IA precisas, útiles y adaptadas al contexto en distintos escenarios.
• Aplica medidas de protección que exijan confirmación verbal explícita y transfiere la conversación a un agente humano en directo al gestionar consultas complejas o con carga emocional.
• Usa ElevenAPI para acceder a modelos interactivos de voz y audio de alta precisión, diseñados para interacciones en directo. 

¿Qué es un asistente de voz con IA? 

Un asistente de voz con IA es un software que comprende el lenguaje hablado y permite a usuarios interactuar con sistemas conectados. Combina tecnologías de Voz a Texto, modelos de IA y Texto a Voz para convertir conversaciones en acciones. 

Además de transcribir texto, los asistentes de voz con IA pueden realizar tareas como abrir una app, recuperar datos y controlar máquinas. Según el modelo de voz que uses, algunos asistentes de IA pueden sonar prácticamente indistinguibles de grabaciones humanas.

Sin embargo, los asistentes de voz con IA no son una tecnología nueva. Muchas personas usan Siri, Alexa y Google Assistant, asistentes de voz comerciales que responden a comandos sencillos. Pero, a medida que evolucionan las tecnologías de IA, más organizaciones crean asistentes de voz con IA para flujos de trabajo empresariales más complejos. 

Por ejemplo, Admiral, una aseguradora, creó un asistente de voz con IA para atender a millones de clientes. El asistente de IA responde consultas, recupera documentos y libera a agentes humanos de tareas repetitivas. 

Si planeas crear un asistente de voz con IA para flujos de trabajo comerciales o industriales, sigue leyendo. Te explicaremos los pasos para crear uno usando un ejemplo de asistente de voz con IA en Python que destaca detalles clave de implementación. 

Cómo crear un asistente de voz con IA: define la tarea que debe realizar tu agente de voz IA 

La IA de voz suele automatizar la atención al cliente en centros de llamadas. Sin embargo, dadas las amplias capacidades de un agente de voz IA, puedes crear un asistente de voz con IA para casi cualquier caso de uso, incluidos ventas, producto y RR. HH.. 

Independientemente de la aplicación de tu agente de voz, asegúrate de que se ajuste a la lógica de negocio. Para crear un asistente de voz de alto rendimiento, consulta a expertos del área sobre los desafíos habituales de usuarios finales. Después, traza el recorrido de interacción del cliente y establece indicadores medibles. 

Por ejemplo, si aplicas IA de voz a un embudo de ventas, el agente debe poder hacer preguntas de precalificación. 

Nuestro representante de desarrollo de ventas (SDR) con IA, Dom, lo hizo y logró una precisión de cualificación del 92 %. 

Elige métricas de éxito, canales y rutas de escalado

Al desplegarlo en un entorno empresarial, el agente debe cumplir de forma consistente unos objetivos específicos. Cuanto más acotado sea el objetivo, más fácil será evaluar y ajustar el agente.

Por tanto, plantea preguntas como estas desde el inicio del desarrollo:

• ¿Cuál es la latencia de respuesta tolerable? 
• ¿Cuál es la tasa de contención prevista? 
• ¿El agente necesita conversar en varios idiomas? 
• ¿Puede el asistente de IA gestionar solicitudes básicas de principio a fin sin intervención humana?
• ¿En qué circunstancias debe el agente escalar al soporte humano? 

¿Crear con API sin procesar o usar ElevenAgents?

Antes de escribir código, decide qué parte del stack de voz quieres gestionar. Puedes conectar por tu cuenta Voz a Texto, un LLM y Texto a Voz mediante ElevenAPI, o usar ElevenAgents, una plataforma gestionada que reúne estos componentes.

Crear con API sin procesar te da control total sobre cada capa. Eliges el LLM, escribes el código de orquestación y gestionas los turnos, las interrupciones, la telefonía y la monitorización. Esta opción se adapta a equipos con requisitos de arquitectura específicos y es la que sigue el tutorial de Python de esta guía.

ElevenAgents reúne modelos, herramientas, una base de conocimiento y workflows en un solo panel. Se conecta a proveedores de telefonía como Twilio y Amazon Connect, y a herramientas de negocio como Salesforce, Zendesk y HubSpot. También incluye simulaciones y pruebas automatizadas antes del lanzamiento, además de analíticas posteriores sobre tasa de éxito, CSAT y transcripciones.

Usa estas preguntas para elegir:

• Velocidad: ElevenAgents permite a un equipo configurar y lanzar un agente desde un panel, mientras que las API sin procesar implican crear y mantener todo el flujo.
• Control: Las API sin procesar permiten personalizar cada paso mediante código, mientras que ElevenAgents cubre las necesidades habituales mediante configuración.
• Operaciones: ElevenAgents incluye pruebas y analíticas, mientras que con API sin procesar debes crear tu propia monitorización.
• Equipo: ElevenAgents se adapta a equipos mixtos de producto, soporte y operaciones, mientras que las API sin procesar son más adecuadas para equipos con ingenieros dedicados.

Una estrategia práctica consiste en validar primero el caso de uso en ElevenAgents y trasladar capas concretas a código personalizado solo donde necesites más control.

Diseña la arquitectura del asistente de voz con IA 

Una vez definido el objetivo de negocio, asigna las funciones del agente a las tecnologías adecuadas. Un asistente de voz con IA depende de varios componentes clave que trabajan juntos para convertir la voz en texto, activar acciones y dar una respuesta coherente. 

• Un modelo de Voz a Texto captura expresiones verbales, identifica fonemas y genera transcripciones de la conversación. 
• Un motor de IA, desde un algoritmo sencillo basado en reglas o una biblioteca de procesamiento del lenguaje natural hasta un modelo de lenguaje grande (LLM), actúa como el cerebro del asistente de voz. 
• Un modelo de Texto a Voz sintetiza respuestas conversacionales con voces similares a las humanas y respeta las directrices de marca. 

ElevenLabs ofrece modelos de voz y audio de Voz a Texto y Texto a Diálogo que ayudan a equipos de producto e ingeniería a diseñar sus asistentes de voz con IA. Nuestros modelos admiten entonación matizada, conciencia emocional y respuestas de baja latencia. Puedes acceder a los modelos de voz mediante ElevenAPI. 

Para los modelos de IA, tu elección dependerá en gran medida de los objetivos y requisitos del asistente de voz. Aunque los LLM, como los modelos GPT de OpenAI, Gemini y Claude, destacan en razonamiento, necesitan ajuste adicional para satisfacer necesidades específicas de cada área. A veces resulta más práctico usar una red neuronal más sencilla o un analizador basado en reglas. 

Además de los modelos de voz e IA, también necesitas software personalizado que extraiga entidades específicas de conversaciones o solicitudes de usuarios. Por ejemplo, cuando alguien llama y dice «Quiero hablar con el departamento de ventas», tu código debe identificar «departamento de ventas» y activar la acción correspondiente.

Crea claves de API y conecta Voz a Texto, un LLM, herramientas y Texto a Voz

Antes de conectarte a modelos de voz y lenguaje, necesitas claves de API. Del mismo modo, las necesitas para hacer solicitudes de API al integrar herramientas de servicios externos en tu asistente de voz. 

• Para crear una clave de API de ElevenLabs, haz clic aquí. 
• Para usar un LLM de OpenAI, obtén tu clave aquí. 
• Si te conectas a CRM, ERP y otras herramientas de terceros, consulta la documentación oficial para crear una clave de API y encontrar las API compatibles. 

Después de obtener las claves de API, guárdalas en tu entorno de desarrollo. 

Después, inicia y accede a las herramientas, el LLM y los modelos de audio pasando los argumentos adecuados a la API. 

1. Primero, conéctate a ElevenLabs Scribe v2 Realtime para realizar reconocimiento automático de voz. Scribe v2 Realtime de ElevenLabs te permite crear agentes de voz de baja latencia que convierten conversaciones en texto en menos de 150 ms (sin incluir el tiempo de red y de la aplicación). 

A continuación tienes un fragmento de código Python que captura la grabación del micrófono con ElevenLabs Scribe v2 Realtime.

async def run(
    self,
    audio_queue: asyncio.Queue[bytes],
    on_partial: Callable[[str], None],
    on_committed: TranscriptHandler,
) -> None:
    audio_format = AudioFormat(f"pcm_{self.settings.audio_sample_rate}")
    connection = await self.client.speech_to_text.realtime.connect(
        RealtimeAudioOptions(
            model_id="scribe_v2_realtime",
            audio_format=audio_format,
            sample_rate=self.settings.audio_sample_rate,
            commit_strategy=CommitStrategy.VAD,
            vad_silence_threshold_secs=0.45,
            min_speech_duration_ms=120,
        )
    )

2. A continuación, envías la transcripción a un LLM con gran capacidad de razonamiento para generar una respuesta. En este ejemplo usamos OpenAI GPT-4o mini. 

Así envías una transcripción a un LLM en tu código Python. 

async def _stream_completion(self) -> tuple[str, list[dict[str, str]]]:
    response = await self.client.chat.completions.create(
        model=self.settings.openai_model,
        messages=[self.messages[0], *self.messages[-12:]],
        tools=TOOLS,
        tool_choice="auto",
        parallel_tool_calls=False,
        temperature=0.4,
        stream=True,
    )

3. Tras recibir la salida del LLM, conviértela en una respuesta verbal realista con ElevenLabs v4 Turbo. Nuestro modelo de Texto a Voz es muy expresivo, está diseñado para la interacción en tiempo real y ofrece una latencia ultrabaja de ~100 ms (se refiere únicamente al tiempo de inferencia del modelo; la latencia real de extremo a extremo variará según factores como tu ubicación y el tipo de ruta de API utilizado).

El código siguiente muestra al agente usando un WebSocket para transmitir respuestas de voz con la API Texto a Diálogo de ElevenLabs.

async def stream(self, text: str) -> AsyncIterator[bytes]:
    query = urlencode(
        {
            "model_id": self.settings.elevenlabs_tts_model_id,
            "output_format": "pcm_24000",
        }
    )
    url = f"wss://api.elevenlabs.io/v1/text-to-dialogue/stream-input?{query}"
    voice_id = self.settings.elevenlabs_voice_id


    async with websockets.connect(url, max_size=2**20, ping_interval=20) as socket:
        await socket.send(
            json.dumps(
                {
                    "voices": [voice_id],
                    "xi_api_key": self.settings.elevenlabs_api_key,
                }
            )
        )
        await socket.send(
            json.dumps(
                {
                    "inputs": [
                        {"text": text, "voice_id": voice_id, "new_turn": False}
                    ]
                }
            )
        )
        await socket.send(json.dumps({"close_socket": True}))

Tu agente de reconocimiento automático de voz debe gestionar cómodamente conversaciones de varios turnos. Para ello, necesitas un agente de voz capaz de saber cuándo empieza y termina el habla. 

Diseña conversaciones que suenen naturales y no se desvíen de la tarea  

Los sistemas convencionales de respuesta de voz interactiva (IVR) no funcionan más allá de los escenarios para los que están programados. Cuando se les pide resolver problemas no definidos en sus reglas, estos IVR no ofrecen respuestas satisfactorias. Además, no siempre suenan naturales, lo que perjudica la experiencia del cliente.

Con modelos avanzados de IA y voz, un asistente de voz puede responder de forma más natural y gestionar casos límite. Puedes diseñar distintos escenarios que el agente debe anticipar y una ruta de escalado para los casos que no pueda resolver. Por ejemplo, algunos clientes llaman para preguntar por el estado de un envío, mientras que otros pueden estar frustrados por productos defectuosos e insistir en hablar con un responsable de experiencia de cliente. 

Redacta instrucciones de sistema, reglas de gestión de turnos y respuestas de respaldo

Para gestionar distintos escenarios, creas código específico para manejar la lógica y prompts de sistema en la aplicación del agente de voz IA. 

Por ejemplo, el prompt de sistema siguiente detecta frustración e indica al LLM que responda con más empatía. 

SYSTEM_PROMPT = ""You are a calm, empathetic voice assistant for customer support.
Speak naturally in short, clear sentences that are easy to hear. Answer from
retrieved company information when relevant; say when the answer is uncertain
rather than inventing a policy. Use tools for customer lookup and support
requests. Before creating a ticket or transferring a caller, request explicit
verbal confirmation through the tool flow and wait for a clear yes. Never ask
for passwords, full payment card numbers, or authentication codes. Do not claim
a ticket was created, a contact was found, or a transfer completed unless the
tool confirms it. Keep responses concise and avoid markdown when speaking.
"""

Las conversaciones con IA nunca deben parecer apresuradas ni interrumpidas. El modelo de voz debe detectar cuándo el usuario ha dejado de hablar y responder a tiempo. ElevenLabs Scribe v2 Realtime te permite activar VAD al escuchar la entrada del micrófono. A diferencia del VAD convencional, que depende únicamente de la duración del silencio, ElevenLabs Scribe v2 Realtime utiliza algoritmos de aprendizaje profundo para determinar si un cliente ha terminado de hablar. 

Para activar VAD, configura el parámetro en tu código al interactuar con la API de Voz a Texto. 

commit_strategy=CommitStrategy.VAD,

A continuación, ofrece respuestas de respaldo corteses y respetuosas si el agente no puede responder satisfactoriamente a la solicitud del cliente. Del mismo modo, un agente de IA puede encontrar un error al transcribir conversaciones. Tu código debe gestionar las dificultades técnicas y comunicarlas con transparencia a clientes. 

Para ofrecer respuestas de respaldo, usa lógica condicional en tu código. Por ejemplo, el fragmento de código siguiente captura el estado de error de la API de Voz a Texto y activa las respuestas adecuadas. 

connection.on(RealtimeEvents.ERROR, handle_error)
connection.on(RealtimeEvents.AUTH_ERROR, handle_error)
connection.on(RealtimeEvents.CLOSE, stopped.set)

Crea la capa de conocimiento y herramientas para obtener respuestas fiables 

Los LLM ofrecen una gran capacidad de razonamiento, que permite a un asistente de voz con IA responder de forma natural. Sin embargo, una respuesta conversacional no siempre implica precisión. Sin datos de referencia, los LLM pueden alucinar, lo que lleva al agente de voz a dar respuestas plausibles pero inexactas. 

Por ejemplo, cuando preguntas a GPT-4o mini por un producto que acabas de lanzar, no puede darte una respuesta con seguridad. Para hacerlo, debes conectar el LLM a tu base de conocimiento interna mediante un sistema de generación aumentada por recuperación (RAG). RAG permite al LLM consultar guías internas de producto y generar una respuesta precisa. 

Añade recuperación, acciones de API, permisos y transferencias a humanos

Para usar RAG, debes crear una base de datos vectorial. Una base de datos vectorial almacena documentos como representaciones numéricas en un espacio multidimensional. El siguiente fragmento de código muestra cómo el agente de voz recupera documentos relevantes del almacén vectorial antes de consultar al LLM. 

def search(self, query: str, top_k: int = 3) -> list[dict[str, str | float]]:
    query_vector = _vectorize(query)
    ranked = sorted(
        (
            (_cosine(query_vector, chunk.vector), chunk)
            for chunk in self.chunks
        ),
        key=lambda item: item[0],
        reverse=True,
    )
    return [
        {"source": chunk.source, "text": chunk.text, "score": score}
        for score, chunk in ranked[: max(0, top_k)]
        if score > 0

Además de RAG, es probable que tu asistente de voz con IA necesite acceso a CRM, ERP y otros sistemas empresariales. Esto permite al agente de voz obtener la información necesaria, como datos de clientes, transacciones históricas y tendencias de mercado, como contexto al elaborar respuestas.

Por ejemplo, puedes integrar ElevenLabs con HubSpot mediante API. Así puedes resolver problemas habituales usando la base de conocimiento del CRM, crear tickets y escalar el soporte con todo el contexto de la conversación. 

Aquí tienes un fragmento de código que permite al agente de voz crear un ticket de soporte en HubSpot.

esponse = await self.client.post(
    "/crm/v3/objects/tickets",
    json={
        "properties": {
            "subject": title,
            "content": description,
            "hs_pipeline": "0",
            "hs_pipeline_stage": "1",
        }
    },
)
response.raise_for_status()
ticket = response.json()
if contact_email:
    contact_response = await self.search_contact(contact_email)
    results = contact_response.get("results", [])
    if results:
        await self.client.put(
            f"/crm/v4/objects/tickets/{ticket['id']}/associations/contacts/{results[0]['id']}",
            json=[{"associationCategory": "HUBSPOT_DEFINED", "associationTypeId": 16}],
        )
return {"mode": "live", "id": ticket.get("id"), "title": title}

Aunque los agentes de voz IA pueden acelerar la resolución de problemas, clientes deben conocer sus opciones, especialmente cuando los cambios que realicen puedan afectar significativamente a sus cuentas. A diferencia de los chatbots basados en texto, enumerar opciones verbalmente requiere más medidas de protección. Una vez tomada una decisión, puede ser difícil revertirla durante una llamada.

En este caso, recomendamos autenticar a quien llama y solicitar confirmación verbal. Por ejemplo, si el cliente quiere cancelar una compra, tu agente de voz debe preguntar explícitamente: «¿Seguro que quieres cancelar el pedido?» y esperar una respuesta. 

A continuación mostramos un ejemplo. 

def request(self, name: str, arguments: dict[str, Any]) -> str:
    self.pending = PendingAction(name=name, arguments=arguments)
    if name == "create_support_ticket":
        return "I can create that support ticket. Would you like me to submit it?"
    return "I can transfer you to a human support agent. Should I start the transfer?"

def resolve(self, text: str) -> tuple[ConfirmationState, PendingAction | None]:
    if self.pending is None:
        return ConfirmationState.NONE, None

    answer = re.sub(r"[^a-z']+", " ", text.lower()).strip()
    if answer in {
        "yes", "yes please", "yeah", "yeah please", "yep", "sure",
        "please do", "confirm", "do it",
    }:
        action, self.pending = self.pending, None
        return ConfirmationState.CONFIRMED, action
    if answer in {"no", "nope", "dont", "do not", "cancel", "stop"}:
        self.pending = None
        return ConfirmationState.DECLINED, None
    return ConfirmationState.PENDING, None

Cómo verificar la identidad de quien llama con un agente de voz IA

Antes de que un agente de voz IA comparta datos de una cuenta o realice cambios en ella, debe confirmar con quién está hablando. El número de teléfono de quien llama es una señal útil, pero no prueba su identidad. Combínalo con otras comprobaciones:

• Haz coincidir el número de quien llama con un registro de cliente en tu CRM.
• Pide datos que solo conocería el titular de la cuenta, como la fecha de un pedido reciente.
• Valida las respuestas mediante una llamada a una herramienta que consulte tus registros y nunca confíes en que el LLM determine si son correctas.
• Limita lo que puede hacer una persona sin verificar; por ejemplo, permite consultar el estado de un pedido, pero no cancelarlo.

No incluyas contraseñas, números completos de tarjetas de pago ni códigos de autenticación en la conversación, tal como indican las instrucciones de sistema anteriores.

Agente de voz IA con transferencia de llamadas en directo y escalado

Una transferencia en directo pasa la llamada a un agente humano sin que la persona tenga que repetirse. En una transferencia asistida, el agente de voz envía la transcripción y el contexto a la persona antes de conectar la llamada. Algunos desencadenantes habituales son:

• Quien llama pide hablar con una persona.
• Quien llama parece frustrado o la conversación adquiere carga emocional.
• El agente no puede resolver la solicitud tras sus respuestas de respaldo.
• La solicitud requiere una acción que necesita aprobación humana.

En algunos casos, el agente de IA debe escalar la llamada a un agente humano. A menudo, el agente de voz detecta intenciones que indican frustración o palabras específicas que activan la transferencia. En tu código, la transferencia de llamada debe realizarse sin interrupciones y no resultar perceptible para clientes. 

Antes del cambio, transmites la transcripción, los datos del cliente y otro contexto de apoyo al equipo de soporte en directo. ElevenLabs ofrece una herramienta de transferencia a número que dirige las llamadas gestionadas por agentes de IA a un troncal SIP o a un número de teléfono de Twilio.

El siguiente fragmento de código muestra una transferencia a una conferencia de Twilio. 

account = self.settings.twilio_account_sid
call_sid = self.settings.twilio_call_sid
conference = f"support-{call_sid}"
room = xml.sax.saxutils.escape(conference)
twiml = f"<Response><Dial><Conference>{room}</Conference></Dial></Response>"
api = f"https://api.twilio.com/2010-04-01/Accounts/{account}"
auth = (account, self.settings.twilio_auth_token)
async with httpx.AsyncClient(timeout=15.0, auth=auth) as client:
    agent_call = await client.post(
        f"{api}/Calls.json",
        data={
            "To": self.settings.handoff_number,
            "From": self.settings.twilio_from_number,
            "Twiml": twiml,
        },
    )
    agent_call.raise_for_status()
    caller_call = await client.post(
        f"{api}/Calls/{call_sid}.json",
        data={"Twiml": twiml},
    )
    caller_call.raise_for_status()

Crea un asistente de voz con IA sin código en ElevenAgents

Si no necesitas código personalizado, puedes lanzar el mismo asistente en ElevenAgents. Los pasos reflejan la arquitectura anterior, pero configuras cada capa en un panel en lugar de escribir código.

1. Crea un agente y describe su tarea en el prompt de sistema, incluidos el tono, el alcance y cuándo debe escalar.
2. Elige una voz de la Biblioteca de Voces, o diseña o clona la tuya, y configura los idiomas que debe hablar el agente.
3. Añade tu base de conocimiento para que el agente pueda responder a partir de tus propios documentos.
4. Conecta herramientas e integraciones, como tu CRM o mesa de ayuda, para que el agente pueda actuar.
5. Configura una transferencia a un agente humano para las llamadas que el asistente no pueda resolver.
6. Ejecuta simulaciones y pruebas automatizadas para comprobar el comportamiento antes del lanzamiento.
7. Despliega el agente en un número de teléfono o canal y, después, revisa las tasas de éxito, el CSAT y las transcripciones.

Las indicaciones de prueba y medición de las secciones siguientes se aplican tanto si desarrollas con código como sin él.

Cómo crear un asistente de voz con IA que encaje con tu marca 

Las organizaciones pueden adaptar la voz del agente de IA para reflejar su marca. Un tono coherente durante toda la conversación ayuda a generar confianza. Con ElevenLabs, hay varias formas de personalizar la voz de tu agente de IA. 

• Biblioteca de Voces de ElevenLabs ofrece más de 20.000 voces IA habladas de forma natural en más de 90 idiomas. Desde enérgicas hasta serenas y seguras, puedes explorar y usar cualquiera de ellas para que encaje con el tono de tu marca. 
• Diseño de Voz de ElevenLabs te permite crear una identidad de voz única con un prompt de texto. Describe el ritmo, el tono, la emoción y otras características verbales para obtener la voz que quieres. 
• Clonar Voz IA de ElevenLabs crea una réplica digital de tu voz al analizar una muestra de tus grabaciones de voz. 

Además de acertar con la emoción y los matices, también es importante revisar la pronunciación de la voz IA, especialmente para nombres propios. Si es necesario, crea un diccionario de pronunciación que pueda consultar tu modelo de voz. 

Prueba la latencia, las interrupciones, la precisión y la seguridad antes del lanzamiento 

Antes del lanzamiento, prueba rigurosamente tu agente de voz IA para garantizar que funcione de forma fiable en distintos escenarios. 

• Prueba de latencia: Un agente que tarda más de 700 ms en responder sonará poco natural para clientes. Según tu configuración, la velocidad de red, el LLM, los modelos de voz y las API de terceros pueden afectar a la latencia. Lo ideal es mantener la latencia conversacional por debajo de 500 ms. 
• Prueba de interrupciones: comprueba si el agente gestiona interrupciones a mitad de una conversación. En concreto, debe descartar los fotogramas de audio de salida, detener el TTS y reanudar la captura de la entrada verbal sin perder el contexto. 
• Prueba de gestión de turnos: Cuando el usuario deja de hablar, el agente debe tomar el turno de forma natural. Evalúa si lo hace en el momento adecuado y si interrumpe a mitad de la intervención. Para una guía detallada, descubre cómo ElevenLabs gestiona los turnos aquí. 
• Prueba de precisión: Cualquier imprecisión en la capa de STT se propaga a las etapas posteriores. Asegúrate de que el asistente de voz entiende el habla incluso en entornos ruidosos. Además, el modelo de voz debe transcribir con precisión y de forma consistente distintos acentos. 
• Prueba de seguridad: Asegúrate de que las salvaguardas eviten comportamientos del sistema que incumplan la política de marca. Si una interacción adquiere carga emocional, el agente debe facilitar una transferencia asistida a un agente humano conforme a las directrices predefinidas.

Mide los resultados y mejora el desarrollo de tu asistente de voz 

Superar los criterios internos de prueba prepara a tu agente de voz IA para su despliegue en el mundo real. Sin embargo, no es el objetivo final del ciclo de desarrollo. La iteración posterior al despliegue es igual de importante para garantizar que tu agente de voz IA siga resolviendo las solicitudes de clientes.

Usa los comentarios de las métricas de IA conversacional para detectar carencias en tu asistente de IA. Después, perfecciona gradualmente la lógica de la aplicación, las integraciones de API, la elección de modelos y otros componentes del stack tecnológico para mejorar el rendimiento de la IA conversacional.

Haz seguimiento de la contención, la resolución, la satisfacción del cliente y los modos de fallo

Mide continuamente tu asistente de IA frente a referencias del sector. Algunas métricas que debes seguir son: 

• Contención: indica cuántas conversaciones resuelve correctamente el agente de IA. 
• Tasa de escalado: mide las llamadas que finalmente requieren intervención humana. 
• Tasa de error de palabras: una referencia de precisión que indica con qué exactitud la IA transcribe el audio. 
• Tasa de alucinaciones: destaca los casos en que los LLM generan respuestas inexactas pero plausibles. 
• CSAT: comentarios de clientes que indican su grado de satisfacción con el agente de voz IA. 

Descubre más sobre las métricas de IA conversacional.

Empieza con ElevenAPI para asistentes de voz con IA 

ElevenAPI simplifica el desarrollo de asistentes de voz con IA. Con modelos líderes de Texto a Voz y Voz a Texto, puedes crear agentes de IA conversacional adaptados al contexto que encajan perfectamente en tu workflow empresarial. Nuestros modelos de voz y audio ofrecen de forma constante alta precisión y baja latencia, lo que permite una experiencia de cliente natural. 

Obtén tu clave de API de ElevenAPI aquí y consulta nuestra documentación oficial para empezar a desarrollar. 

Preguntas frecuentes: crear un asistente de voz con IA