Presentamos Eleven v4Conoce Eleven v4, nuestro modelo más expresivo hasta la fecha.

Ir al contenido

Creación de Vibe Draw: combinamos ElevenLabs con FLUX Kontext para crear imágenes con la voz

Escrito por
Ryan Morrison
Publicado
Última actualización

EscucharEscucha este artículo

Las interfaces de voz están cambiando nuestra forma de comunicarnos con la IA. ¿Y si crear una imagen fuera tan fácil como describirla en voz alta?

Esa es la idea que me llevó a crear Vibe Draw como proyecto de fin de semana. Es una herramienta creativa centrada en la voz que combina la IA de voz de ElevenLabs con FLUX Kontext de Black Forest Labs para convertir instrucciones habladas en imágenes.

FLUX Kontext representa una nueva clase de modelo de imagen. A diferencia de los sistemas tradicionales de texto a imagen, Kontext permite tanto generar como editar. Puede crear imágenes nuevas a partir de instrucciones, modificar las existentes e incluso combinar varias imágenes de referencia en un único resultado.

Aunque modelos como GPT-4o y Gemini 2 Flash ofrecen capacidades multimodales, FLUX Kontext está diseñado específicamente para la manipulación visual de alta calidad. Durante las pruebas, pude cambiar letras individuales en texto estilizado o recolocar un objeto simplemente describiendo el cambio.

Fue entonces cuando pensé: «¿Por qué no hacerlo con la voz?». ¿Y qué mejor base que la potente tecnología de voz de ElevenLabs?

Vibe Draw

El reto técnico

Crear un sistema de imágenes controlado por voz exigía resolver cinco problemas clave:

  1. Comprensión del lenguaje natural — Diferenciar entre una creación nueva y una edición
  2. Conocimiento del contexto — Mantener la continuidad entre interacciones
  3. Gestión de audio — Evitar respuestas superpuestas y gestionar colas
  4. Generación visual — Transiciones fluidas entre la generación y la edición
  5. Experiencia de usuario — Hacer intuitivas las interacciones avanzadas con IA

Visión general de la arquitectura

Vibe Draw se ejecuta completamente en el cliente e integra los siguientes componentes:

  • Web Speech API para el reconocimiento de voz
  • API de ElevenLabs TTS para respuestas de voz
  • API de FLUX Kontext para la generación y edición de imágenes
  • Detección de intención personalizada para comprender las indicaciones del usuario

Este enfoque mantiene el prototipo ligero, pero las implementaciones en producción deberían canalizar las solicitudes a través del servidor por seguridad.

Implementación de voz con ElevenLabs

Vibe Draw utiliza la API de texto a voz de ElevenLabs, configurada para ofrecer respuestas ágiles en conversaciones:

const voiceSettings = {
    model_id: "eleven_turbo_v2",
    voice_settings: {
        stability: 0.5,
        similarity_boost: 0.75
    }
};

Para aportar variedad, las respuestas de voz se seleccionan aleatoriamente a partir de plantillas predefinidas:

const responses = {
    generating: [
        "Ooh, I love that idea! Let me bring it to life...",
        "That sounds awesome! Creating it now...",
        "Great description! Working on it..."
    ],
    editing: [
        "Got it! Let me tweak that for you...",
        "Sure thing! Making those changes...",
        "No problem! Adjusting it now..."
    ]
};

function getRandomResponse(type) {
    const options = responses[type];
    return options[Math.floor(Math.random() * options.length)];
}

Gestión de la reproducción de audio

Las respuestas de voz superpuestas rompen la ilusión de una conversación. Vibe Draw lo resuelve con un sistema de cola de audio:

let audioQueue = [];
let isPlayingAudio = false;

async function queueAudioResponse(text) {
    audioQueue.push(text);
    if (!isPlayingAudio) {
        playNextAudio();
    }
}

Cada mensaje se reproduce por completo antes de activar el siguiente.

Detección de intención y gestión del contexto

El sistema utiliza la detección de palabras clave y del contexto para decidir si una indicación del usuario es una solicitud de imagen nueva o una edición:

const editKeywords = [ ... ];
const contextualEditPhrases = [ ... ];

if (currentImage && (hasEditKeyword || hasContextClue)) {
    await handleEditRequest(text);
} else {
    await handleGenerateRequest(text);
}

Este enfoque garantiza que las ediciones solo se apliquen cuando ya existe una imagen y el contexto lo deja claro.

Generación de imágenes con FLUX Kontext

Image generated with Flux

Kontext admite dos modos: generación y edición.

Generación (texto a imagen)

const response = await fetch('https://fal.run/fal-ai/flux-pro/kontext/text-to-image', {
    ...
    body: JSON.stringify({
        prompt: enhancedPrompt,
        guidance_scale: 3.5,
        num_images: 1,
        safety_tolerance: "2",
        output_format: "jpeg"
    })
});

Edición (transformación contextual)

const response = await fetch('https://fal.run/fal-ai/flux-pro/kontext', {
    ...
    body: JSON.stringify({
        prompt: instruction,
        image_url: currentImage,
        guidance_scale: 3.5,
        num_images: 1
    })
});

Gestión de transformaciones complejas

Algunas indicaciones implican cambios que superan los límites de la API de edición. Cuando los detecta, el sistema ofrece una alternativa:

if (hasSignificantChange) {
    try {
        const enhanced = instruction + ", maintain composition but apply requested changes";
        await editImage(enhanced);
    } catch {
        queueAudioResponse("That's quite a transformation! Would you like me to create a fresh image instead?");
    }
}

Optimización de la experiencia

Comentarios progresivos

Los comentarios de la interfaz ayudan a usuarios a seguir el estado del sistema:

function updateUI(state) {
    switch(state) {
        case 'listening': ...
        case 'processing': ...
        case 'generating': ...
        case 'ready': ...
    }
}

Temporización inteligente

Una conversación natural requiere una temporización natural:

if (Math.random() > 0.7) {
    setTimeout(() => {
        queueAudioResponse("Want me to change anything about it?");
    }, 3000);
}

Estado de la sesión

Para conservar el contexto, se almacenan los datos de la sesión:

const saveState = () => { ... };
const restoreState = () => { ... };

Aspectos de rendimiento

Para garantizar una respuesta ágil:

  • Carga diferida — Inicializar las API solo cuando sea necesario
  • Antirrebote — Limitar las solicitudes a la API por interacción
  • Gestión de errores — Recuperarse correctamente de tiempos de espera o fallos
  • Liberación de recursos — Eliminar correctamente objetos de audio y detectores de eventos

Próximos pasos

Las interfaces conversacionales abren la puerta a nuevas capacidades:

  • Entrada multimodal — «Haz que se parezca más a esta foto».
  • Sesiones colaborativas — Varios usuarios contribuyen a un único diseño
  • Memoria de estilo — El sistema aprende tu estética con el tiempo
  • Streaming en tiempo real — Transmitir actualizaciones de imágenes mientras el usuario habla e integrar IA conversacional de ElevenLabs para permitir la transmisión de voz.

Ideas clave

Crear Vibe Draw reveló varios principios fundamentales para las herramientas centradas en la voz:

  1. El contexto lo es todo — Hacer seguimiento del estado consigue que las interacciones tengan coherencia
  2. El ritmo aporta personalidad — Marcar el ritmo de las respuestas hace que la IA parezca ágil
  3. Las alternativas mantienen el ritmo — Cuando falla la generación, ofrece otras opciones
  4. La variedad lo mantiene fresco — Repetir la misma frase rompe la inmersión

Conclusión

Vibe Draw muestra lo que sucede cuando la IA de voz conversacional se une a la creatividad visual. La síntesis de voz natural de ElevenLabs y las API de imágenes de FLUX Kontext se combinan para crear una nueva forma de crear: sin clics, sin controles deslizantes, solo voz.

Cuando crear es tan fácil como describir, eliminamos las barreras entre la imaginación y la ejecución.

Pruébalo tú mismo

El código fuente completo está disponible en GitHub. Para ejecutar tu propia versión:

  1. Clona el repositorio
  2. Añade tu clave de API de ElevenLabs
  3. Añade tu clave de API de FAL.ai
  4. Abre vibe-draw-v2.html en un navegador moderno
  5. Haz clic en el micrófono y empieza a crear

    ¿Te interesa crear tu propia experiencia centrada en la voz? Descubre la IA conversacional de ElevenLabs o contacta con nosotros.

Escrito por

Ryan se unió a ElevenLabs después de más de dos décadas en noticias y publicaciones, incluyendo roles en la BBC y Future Plc. Se centra en la estrategia de contenido y la narración, ayudando a ElevenLabs a dar forma y compartir su historia.

Artículos relacionados

Crea con el audio IA de la más alta calidad