Pickford maakt interactieve bioscoopervaringen in realtime met ElevenLabs

Pickford ontwikkelt interactieve media-ervaringen waarin het publiek niet alleen naar verhalen kijkt, maar ze ook vormgeeft. Hun nieuwste project, Whispers, ging in première op het Busan International Film Festival en markeerde een mijlpaal voor bioscoopervaringen die door het publiek worden gestuurd.

In Whispers speelt het publiek samen de rol van een onzichtbare adviseur, die de hoofddetective van de film suggesties influistert tijdens het onderzoek naar een moord. Elke inbreng van het publiek beïnvloedt het verhaal in realtime: het stuurt de dialogen, geeft vorm aan verhoren en bepaalt de afloop. 

De ervaring is zowel live als online in groepsverband te bekijken, zodat publiek over de hele wereld samen kan deelnemen. Dit niveau van interactiviteit vraagt om stemgeneratie die emotioneel authentiek aanvoelt en zich naadloos aanpast aan live-inbreng van het publiek. Voor Pickford betekende dat een samenwerking met ElevenLabs.

Realtime dialogen mogelijk gemaakt door ElevenLabs

Om Whispers mogelijk te maken, integreerde Pickford ElevenLabs Text to Speech met Eleven v3 om dynamische dialogen te genereren die reageren op keuzes van het publiek. Elke gesproken zin moest onmiddellijk worden gegenereerd, met een consistente emotionele diepgang om de onderdompeling te behouden in honderden vertakkende mogelijkheden.

“Bij Pickford moeten we in realtime reageren op de suggesties van het publiek: er zijn geen tweede opnames. Stemmen moeten snel worden gegenereerd en elke keer emotioneel aansprekend zijn. ElevenLabs maakt dat mogelijk.” – Stephen Piron, CEO, Pickford AI

De visie van Pickford brengt geavanceerde technologie samen met diep menselijke verhalen, waarin het publiek onderdeel wordt van het verhaal. Elke voorstelling wordt mogelijk gemaakt door de expressieve stemmodellen van ElevenLabs, die levensechte emotionele vertolking zonder vertraging mogelijk maken – essentieel om het ritme en de authenticiteit van live cinema te behouden.

In samenwerking met SAG-AFTRA

In tegenstelling tot de meeste AI-gedreven producties is Whispers gemaakt binnen het onlangs ingevoerde kader van SAG-AFTRA voor AI-samenwerking. Daarmee is gewaarborgd dat elke acteur deelnam met volledige toestemming en een eerlijke vergoeding.

Stephen Piron, CEO van Pickford AI, merkte op dat werken volgens de richtlijnen van SAG essentieel was om innovatie en eerlijkheid op één lijn te brengen: “We willen werken met het beste talent ter wereld, en we willen dat dat talent eerlijk en ruimhartig wordt betaald […] we hopen dat dit project een nieuwe standaard zet voor hoe menselijk talent ethisch kan worden vergoed nu de entertainmentindustrie AI steeds meer omarmt.”

Door het kader van de vakbond te omarmen, heeft Pickford geholpen een precedent te scheppen voor de manier waarop AI en menselijk talent verantwoord naast elkaar kunnen bestaan.

Het volgende medium bouwen

Pickford ziet dit als het begin van een nieuw medium, waarin betrokkenheid van het publiek verandert hoe verhalen worden verteld en beleefd. Met ElevenLabs kunnen creators zoals Pickford ervaringen bouwen die reageren, evolueren en op het moment zelf tot leven komen.

Wil je realtime ervaringen met stemmen bouwen? Neem hier contact op.