INTERSPEECH 2022でのEleven

カンファレンスを振り返って

今年のINTERSPEECHカンファレンスから戻ったばかりです。この数か月間取り組んできた開発の成果を発表し、フィードバックをいただく、これまでで最高の機会となりました。

この分野の第一人者から学び、アイデアを共有しながら、今後につながる関係を築けたことは大きな収穫でした。特にボイスクローン、音声合成（TTS）、音声変換（VC）の分野で同じような研究に取り組む、素晴らしいスタートアップのチームにも出会いました。SupertoneやLOVOはその一例です。また、MetaやGoogleといった業界を代表する企業と、TTSおよびVCソフトウェア開発の舞台裏について話せたことにも胸が躍りました。

さっそく本題に入りました。ElevenLabsの取り組みに寄せられた心からの熱意は、これ以上ないほど嬉しいもので、期待をはるかに上回りました。その後4日間にわたり、上記3つの音声技術分野における研究と進捗について議論しました。これは、独自の自動吹き替えツールの開発に向けた極めて重要な第一歩です。バージョン1.0は来年初めのリリースを予定しています。

ここで最も重要だったのは、音声を忠実にクローンできると証明することでした。つまり、アルゴリズムの学習に使う元の音声データと、同じ音声を合成した際の声の類似性を保てることです。もう一つ重要だったのは、他に類を見ない韻律と声調を実現することで、ElevenLabsのTTSツールが、人間らしく自然な合成音声プラットフォームの最高峰に向かって着実に進んでいると証明することでした。

前者が重要なのは、新たに生成された発話を聞いて、特定の人物の声だとすぐに識別できる必要があるためです。つまり、話者のアイデンティティを正確に保たなければなりません。韻律と声調も重要です。声の調子や話すペースが意図を伝え、それこそが音声を人間らしく聞かせるからです。究極の目標は、プログラムが単語を流暢に発音するだけでなく、適切な感情を発話に乗せ、話している内容を理解しているかのように聞こえることです。

TTSデモ

カンファレンスで使用したTTSデモの一つを以下でご覧いただけます。最初のリンクが元のビデオで、その次が同じ内容を別の声で話したサンプルです。なお、これはテキスト読み上げであり、音声変換ではありません。元のビデオで話されている言葉を文字に起こしたものだけを入力し、ここで聞ける音声を生成しました。韻律とイントネーションはすべてアルゴリズム自体が生成しており、後処理は一切行っていません。誰の声か分かるでしょうか？

次回は、テキスト入力からの音声生成に焦点を当て、ElevenのTTS技術についてさらに詳しくご紹介します。

ElevenLabsの技術に興味をお持ちで、ベータテスターになりたい方は、こちらをクリックして登録してください。

オリジナル：

Eleven LabsのボイスクローンTTS：

見た目より中身

カンファレンスまでの数か月間は、技術を実際に確認できるサンプルの制作と、独自研究の発表準備にほぼすべての力を注ぎました。INTERSPEECHは研究カンファレンスです。特にこれほど研究に特化した場では、形式よりも内容を優先すべきだと考えていました。とはいえ当日になると、技術に力を入れすぎたせいで、ブランディングが少し簡素になりすぎたかもしれない、と冗談を言い合いました。しかし、大手企業を含むほかの参加者も控えめな展示を選んでいるのを見て、ほどなく安心しました。むしろ、自分たちの判断が正しかったと感じたほどです！

また来年

Elevenにとって今回の韓国出張は大成功であり、さらに努力を重ねる大きな原動力になりました。今後1年間で、研究とその発表方法の両方をどこまで進歩させられるか、考えるだけでワクワクします。来年までには製品品質の吹き替えツールを完成させ、自分の声のまま、話せない言語でも話せるようにしたいと考えています。