Comment Projekt Kalwaria utilise ElevenLabs pour redonner vie à un site patrimonial détruit

Projekt Kalwaria est une association polonaise à but non lucratif qui reconstruit un lieu aujourd’hui disparu. Le calvaire d’Ujście, un ensemble de stations construit à flanc de colline entre 1893 et 1908, a été détruit par les forces d’occupation pendant la Seconde Guerre mondiale. Pendant des décennies, il n’a subsisté que dans des photographies et des archives.

L’association recrée le site numériquement pour préserver le patrimoine de la région et le faire découvrir à un nouveau public. Grâce à notre programme Impact, nous avons donné une voix à cette reconstruction.

Reconstruire la colline

La restauration du calvaire a commencé dans les archives. L’équipe a numérisé près de 300 documents datant de 1893 à 1935, puis reconstruit la colline en 3D et modélisé ses trois premières stations. À partir de ces mêmes archives, elle a recréé quatre cadres de stations dont les designs avaient été primés lors d’une Exposition universelle à Paris il y a plus d’un siècle.

Comment l’équipe utilise ElevenLabs

La reconstruction n’a de sens que si le public peut en faire l’expérience. L’équipe transforme donc la topographie recréée en 3D, les modèles des trois premières stations et des photographies d’archives animées en reconstitutions vidéo narrées : des promenades virtuelles à travers la colline et ses stations, comme les aurait parcourues autrefois un visiteur, guidé par une narration tout au long du parcours.

Cette narration est générée avec ElevenLabs Text to Speech. L’audio étant généré plutôt qu’enregistré, l’équipe publie chaque promenade en polonais, en anglais et en allemand à partir d’un seul script, sans faire appel à des doubleurs pour chaque langue. Eleven Music compose les musiques d’ouverture, et vidéo IA anime les photographies centenaires sur lesquelles reposent les films.

« Nous ne voulons pas seulement raconter l’histoire : nous voulons permettre aux gens d’y entrer. En associant des centaines de documents sauvegardés à la puissance des moteurs 3D modernes et de l’intelligence artificielle, nous avons compris que nous pouvions littéralement ressusciter ce lieu. Les outils d’IA nous ont permis de créer une expérience immersive et multilingue », explique Patryk Piotrowski de Projekt Kalwaria, « en redonnant une voix à un lieu qui en avait été brutalement privé. »

Les films sont publiés sur YouTube, où le public peut aujourd’hui en faire l’expérience.

L’impact à ce jour

L’histoire du calvaire d’Ujście mêle influences polonaises et allemandes ; toucher un public international était donc essentiel dès le départ. Publier chaque film en polonais, en anglais et en allemand permet à l’équipe de partager une histoire locale au-delà de la région, sans produire trois versions distinctes.

Le projet en est encore à ses débuts et l’équipe ambitionne de toucher un public plus large au fil du temps. En associant la vidéo IA à l’audio d’ElevenLabs, une petite équipe de bénévoles peut produire ces films avec une qualité qui exigeait auparavant un studio.

La suite

Projekt Kalwaria relie désormais l’audio au site lui-même. Une application mobile en cours de développement déclenchera la narration à différents points des chemins historiques d’Ujście, afin que les visiteurs entendent chaque station en y arrivant. L’équipe crée également des promenades en VR dans des moteurs 3D modernes avec de l’audio spatial, pour permettre à chacun de parcourir le calvaire reconstruit, où qu’il se trouve.

Le calvaire d’Ujście n’est qu’un site parmi des milliers menacés de disparaître de notre histoire culturelle. L’audio IA met des travaux de reconstruction comme celui-ci à la portée des équipes de bénévoles et des associations locales qui préservent cette mémoire, afin qu’une plus grande part du patrimoine mondial survive pour les générations futures.

Postuler au programme Impact d’ElevenLabs

Grâce au programme Impact d’ElevenLabs, nous aidons les organisations à but non lucratif à toucher davantage de personnes avec l’audio IA, dans le cadre de notre objectif d’aider un million de personnes à communiquer, apprendre et créer sans barrières. Si votre organisation œuvre dans la culture, l’éducation ou l’accessibilité, postulez sur elevenlabs.io/impact.

Découvrez le travail de Projekt Kalwaria sur projektkalwaria.pl.