Optimizar los costes de los LLM | ElevenLabs Documentation

Descripción general

Gestionar los costes de inferencia de los modelos de lenguaje grandes (LLM) es esencial para desarrollar aplicaciones de IA sostenibles. Esta guía describe estrategias clave para optimizar el gasto en la plataforma de ElevenLabs aprovechando sus funciones de forma eficaz. Para consultar las capacidades y los precios detallados de los modelos, revisa nuestra documentación principal sobre LLM.

ElevenLabs permite reducir costes disminuyendo la inferencia de los modelos durante los periodos de silencio. Estos periodos se facturan al 5 % de la tarifa habitual por minuto. Consulta la página de descripción general de ElevenAgents para obtener más información.

Comprender los costes de inferencia

Los costes de inferencia de LLM en nuestra plataforma dependen principalmente de:

Tokens de entrada: La cantidad de datos procesados desde tu prompt, incluidas las consultas de usuarios, las instrucciones del sistema y cualquier dato contextual.
Tokens de salida: El número de tokens que genera el LLM en su respuesta.
Elección del modelo: Los distintos LLM tienen precios diferentes por token. Los modelos más potentes suelen tener costes más altos.

Supervisar tu uso desde el panel de ElevenLabs o mediante la API es fundamental para identificar áreas en las que reducir costes. También puedes estimar el coste previsto de LLM de un agente directamente desde Claude u otro cliente MCP mediante el servidor MCP alojado, lo que resulta útil para comparar modelos antes de hacer un cambio.

Selección estratégica de modelos

Elegir el LLM más adecuado es un factor principal para la eficiencia de costes.

Modelo adecuado para cada necesidad: Selecciona el modelo menos complejo (y normalmente menos caro) que pueda realizar tu tarea específica de forma fiable. Evita usar modelos de alto coste para operaciones sencillas. Por ejemplo, modelos como gemini-2.0-flash de Google ofrecen precios muy competitivos para muchas tareas habituales. Consulta siempre la lista completa de LLM compatibles para conocer los precios y las capacidades más recientes.
Experimentación: Prueba distintos modelos para tus tareas y compara la calidad de los resultados con los costes generados. Ten en cuenta la compatibilidad con idiomas, las necesidades de ventana de contexto y las capacidades especializadas.

Optimización de prompts

La ingeniería de prompts es una técnica eficaz para reducir el consumo de tokens y los costes asociados. Al crear prompts de sistema claros, concisos y sin ambigüedades, puedes guiar al modelo para que genere respuestas más eficientes. Elimina las formulaciones redundantes y el contexto innecesario que pueda aumentar el número de tokens. Considera indicar explícitamente al modelo la longitud deseada de la respuesta; por ejemplo, añadiendo frases como “Limita tu respuesta a dos frases” o “Proporciona un resumen breve”. Estas sencillas indicaciones pueden reducir significativamente el número de tokens de salida sin afectar a la calidad ni a la relevancia del contenido generado.

Diseño modular: Para flujos conversacionales complejos, aprovecha la transferencia entre agentes. Esto te permite dividir un único prompt de sistema grande en varios prompts más pequeños y especializados, cada uno gestionado por un agente diferente. Así se reduce significativamente el número de tokens por interacción, ya que solo se carga el prompt relevante para la etapa actual de la conversación, en lugar de un prompt exhaustivo diseñado para todas las posibilidades.

Aprovechar el conocimiento y la recuperación

Para aplicaciones que requieren acceso a grandes volúmenes de información, la generación aumentada por recuperación (RAG) y una base de conocimiento bien mantenida son fundamentales.

RAG eficiente:
- RAG reduce los tokens de entrada al proporcionar al LLM solo fragmentos relevantes de tu Base de conocimiento, en lugar de incluir una gran cantidad de datos en el prompt.
- Optimiza el recuperador para obtener solo los “fragmentos” de información más pertinentes.
- Ajusta el tamaño y el solapamiento de los fragmentos para equilibrar el contexto y el número de tokens.
- Obtén más información sobre cómo implementar RAG.
Tamaño del contexto:
- Asegúrate de que tu Base de conocimiento contenga información precisa, actualizada y relevante.
- Un contenido bien estructurado mejora la precisión de la recuperación y reduce el uso de tokens por contexto irrelevante.

Uso inteligente de herramientas

Usar herramientas webhook permite a los LLM delegar tareas en API externas o código personalizado, lo que puede resultar más rentable.

Delegación de tareas: Identifica tareas deterministas y aquellas que requieren datos en tiempo real, cálculos complejos o interacciones con API (por ejemplo, consultas a bases de datos o llamadas a servicios externos).
Orquestación: El LLM actúa como orquestador y realiza llamadas estructuradas a herramientas. A menudo, esto es mucho más eficiente en tokens que intentar realizar tareas complejas solo mediante prompts.
Descripciones de herramientas: Proporciona descripciones claras y concisas para cada herramienta, de modo que el LLM pueda utilizarlas de forma eficiente y precisa.

Lista de comprobación

Considera aplicar estas técnicas para reducir costes:

Función	Impacto en costes	Acciones
Elección del LLM	Reduce el coste por token	Selecciona el modelo más pequeño y económico que realice la tarea de forma fiable. Experimenta y compara coste y calidad.
LLM personalizados	Coste de inferencia potencialmente menor para tareas especializadas	Evalúalos para tareas específicas y de gran volumen; ajústalos con datos propios para crear modelos más pequeños y eficientes.
Prompts de sistema	Reduce los tokens de entrada y salida, guía el comportamiento del modelo	Sé conciso, claro y específico. Indica el formato y la longitud de salida deseados (p. ej., “sé breve”, “usa JSON”).
Prompts de usuario	Reduce los tokens de entrada	Fomenta consultas específicas; usa ejemplos few-shot estratégicamente; resume o selecciona el historial relevante.
Control de salida	Reduce los tokens de salida	Pide resúmenes o información clave; usa `max_tokens` con cautela; itera los prompts para lograr una concisión natural.
RAG	Reduce los tokens de entrada al evitar contexto extenso en el prompt	Optimiza el recuperador para obtener relevancia; ajusta tamaño/solapamiento de fragmentos; asegura embeddings y algoritmos de búsqueda de alta calidad.
Base de conocimiento	Mejora la eficiencia de RAG y reduce tokens irrelevantes	Revísala periódicamente; elimina información obsoleta; garantiza una buena estructura, metadatos y etiquetado para una recuperación precisa.
Herramientas (funciones)	Evita llamadas al LLM para tareas específicas; reduce tokens	Delega en herramientas las tareas deterministas, con muchos cálculos o con API externas. Diseña descripciones claras para el LLM.
Transferencia entre agentes	Permite usar modelos más baratos en las partes más sencillas de las tareas	Usa agentes más sencillos o económicos para la clasificación inicial y las preguntas frecuentes; transfiere a agentes capaces solo cuando sea necesario; divide los prompts grandes en otros más pequeños entre varios agentes

Gestión del historial de conversaciones

En conversaciones con estado, en lugar de incluir varias transcripciones como parte del prompt de sistema, implementa técnicas de resumen del historial o de ventana deslizante para mantener un contexto ligero. Esto puede ser especialmente eficaz al crear aplicaciones para consumidores y, a menudo, puede gestionarse al recibir un webhook posterior a la llamada.

Supervisa continuamente el uso y los costes de tus LLM. Revisa y perfecciona periódicamente tus prompts, las configuraciones de RAG y las integraciones de herramientas para garantizar una buena relación coste-eficacia de forma continua.