Creación de Vibe Draw: combinamos ElevenLabs con FLUX Kontext para crear imágenes con la voz
- Escrito por
- Ryan Morrison
- Publicado
- Última actualización
EscucharEscucha este artículo
Las interfaces de voz están cambiando nuestra forma de comunicarnos con la IA. ¿Y si crear una imagen fuera tan fácil como describirla en voz alta?
Esa es la idea que me llevó a crear Vibe Draw como proyecto de fin de semana. Es una herramienta creativa centrada en la voz que combina la IA de voz de ElevenLabs con FLUX Kontext de Black Forest Labs para convertir instrucciones habladas en imágenes.
FLUX Kontext representa una nueva clase de modelo de imagen. A diferencia de los sistemas tradicionales de texto a imagen, Kontext permite tanto generar como editar. Puede crear imágenes nuevas a partir de instrucciones, modificar las existentes e incluso combinar varias imágenes de referencia en un único resultado.
Aunque modelos como GPT-4o y Gemini 2 Flash ofrecen capacidades multimodales, FLUX Kontext está diseñado específicamente para la manipulación visual de alta calidad. Durante las pruebas, pude cambiar letras individuales en texto estilizado o recolocar un objeto simplemente describiendo el cambio.
Fue entonces cuando pensé: «¿Por qué no hacerlo con la voz?». ¿Y qué mejor base que la potente tecnología de voz de ElevenLabs?
.webp&w=3840&q=95)
El reto técnico
Crear un sistema de imágenes controlado por voz exigía resolver cinco problemas clave:
- Comprensión del lenguaje natural — Diferenciar entre una creación nueva y una edición
- Conocimiento del contexto — Mantener la continuidad entre interacciones
- Gestión de audio — Evitar respuestas superpuestas y gestionar colas
- Generación visual — Transiciones fluidas entre la generación y la edición
- Experiencia de usuario — Hacer intuitivas las interacciones avanzadas con IA
Visión general de la arquitectura
Vibe Draw se ejecuta completamente en el cliente e integra los siguientes componentes:
- Web Speech API para el reconocimiento de voz
- API de ElevenLabs TTS para respuestas de voz
- API de FLUX Kontext para la generación y edición de imágenes
- Detección de intención personalizada para comprender las indicaciones del usuario
Este enfoque mantiene el prototipo ligero, pero las implementaciones en producción deberían canalizar las solicitudes a través del servidor por seguridad.
Implementación de voz con ElevenLabs
Vibe Draw utiliza la API de texto a voz de ElevenLabs, configurada para ofrecer respuestas ágiles en conversaciones:
Para aportar variedad, las respuestas de voz se seleccionan aleatoriamente a partir de plantillas predefinidas:
Gestión de la reproducción de audio
Las respuestas de voz superpuestas rompen la ilusión de una conversación. Vibe Draw lo resuelve con un sistema de cola de audio:
Cada mensaje se reproduce por completo antes de activar el siguiente.
Detección de intención y gestión del contexto
El sistema utiliza la detección de palabras clave y del contexto para decidir si una indicación del usuario es una solicitud de imagen nueva o una edición:
Este enfoque garantiza que las ediciones solo se apliquen cuando ya existe una imagen y el contexto lo deja claro.
Generación de imágenes con FLUX Kontext

Kontext admite dos modos: generación y edición.
Generación (texto a imagen)
Edición (transformación contextual)
Gestión de transformaciones complejas
Algunas indicaciones implican cambios que superan los límites de la API de edición. Cuando los detecta, el sistema ofrece una alternativa:
Optimización de la experiencia
Comentarios progresivos
Los comentarios de la interfaz ayudan a usuarios a seguir el estado del sistema:
Temporización inteligente
Una conversación natural requiere una temporización natural:
Estado de la sesión
Para conservar el contexto, se almacenan los datos de la sesión:
Aspectos de rendimiento
Para garantizar una respuesta ágil:
- Carga diferida — Inicializar las API solo cuando sea necesario
- Antirrebote — Limitar las solicitudes a la API por interacción
- Gestión de errores — Recuperarse correctamente de tiempos de espera o fallos
- Liberación de recursos — Eliminar correctamente objetos de audio y detectores de eventos
Próximos pasos
Las interfaces conversacionales abren la puerta a nuevas capacidades:
- Entrada multimodal — «Haz que se parezca más a esta foto».
- Sesiones colaborativas — Varios usuarios contribuyen a un único diseño
- Memoria de estilo — El sistema aprende tu estética con el tiempo
- Streaming en tiempo real — Transmitir actualizaciones de imágenes mientras el usuario habla e integrar IA conversacional de ElevenLabs para permitir la transmisión de voz.
Ideas clave
Crear Vibe Draw reveló varios principios fundamentales para las herramientas centradas en la voz:
- El contexto lo es todo — Hacer seguimiento del estado consigue que las interacciones tengan coherencia
- El ritmo aporta personalidad — Marcar el ritmo de las respuestas hace que la IA parezca ágil
- Las alternativas mantienen el ritmo — Cuando falla la generación, ofrece otras opciones
- La variedad lo mantiene fresco — Repetir la misma frase rompe la inmersión
Conclusión
Vibe Draw muestra lo que sucede cuando la IA de voz conversacional se une a la creatividad visual. La síntesis de voz natural de ElevenLabs y las API de imágenes de FLUX Kontext se combinan para crear una nueva forma de crear: sin clics, sin controles deslizantes, solo voz.
Cuando crear es tan fácil como describir, eliminamos las barreras entre la imaginación y la ejecución.
Pruébalo tú mismo
El código fuente completo está disponible en GitHub. Para ejecutar tu propia versión:
- Clona el repositorio
- Añade tu clave de API de ElevenLabs
- Añade tu clave de API de FAL.ai
- Abre vibe-draw-v2.html en un navegador moderno
- Haz clic en el micrófono y empieza a crear
¿Te interesa crear tu propia experiencia centrada en la voz? Descubre la IA conversacional de ElevenLabs o contacta con nosotros.
Ryan se unió a ElevenLabs después de más de dos décadas en noticias y publicaciones, incluyendo roles en la BBC y Future Plc. Se centra en la estrategia de contenido y la narración, ayudando a ElevenLabs a dar forma y compartir su historia.





