文字が音声のどこで発話されているかを文字起こしで把握する仕組み

テレビで映画を観ていて放送に問題があり、俳優のセリフと字幕が完全にずれていたら、どれほど気が散り、物語への没入感が損なわれるかご存じでしょう。音声モデルを使った動画やソフトウェアにも同じ問題があります。字幕の表示が1秒遅れたり、文字起こしで間違った単語がハイライトされたりすると、同じように不具合を感じさせます。

「人間は、少なくとも単語レベルでは、メディアをかなりうまくアラインできます」と、アラインメントに取り組むElevenLabsのリサーチャー、Danila Kozlovは言います。「単語がどこで始まるかは感覚的にわかることが多いですが、文字レベルで、しかもミリ秒未満の精度となると、はるかに難しくなります。」 

本日ElevenLabsは、オーディオファイル内のすべての文字を正確なタイムライン上に配置する強制アラインメントモデル、Cueを発表します。CueはElevenLabsのScribeモデルファミリーを支えており、実際の録音データでは、ベンチマーク対象の29言語すべてでElevenLabsがテストしたどのアライナーよりも高い精度を実現しました。また、どの長さの録音でも1回の処理で対応し、1時間のオーディオを1秒未満でアラインします。 

強制アラインメントとは？

誰かからビデオと文字起こしを渡され、各単語を話された瞬間に対応付けてほしいと頼まれたと想像してください。それが強制アラインメントです。ElevenLabsの文字起こしで単語をクリックするとプレーヤーがその正確な位置に移動しますが、その処理を担っているのがアライナーです。

ただし、強制アラインメントは、より曖昧な概念であるAIアラインメントとは異なります。AIアラインメントは、AIシステムの振る舞いを人々の価値観やビジネス上のニーズに合わせて設計することです。強制アラインメントで扱うのは、テキストと音声を対応付けることだけです。

Cueは、スピーチtoテキストのパイプラインにおける最後のステップです。ElevenLabsのスピーチtoテキストモデルであるScribeがオーディオを書き起こし、アライナーがタイミングを設定します。すべてのScribeリクエストはCueを通過します。同じモデルは字幕、吹き替え、音楽の歌詞タイミングにも使われており、強制アラインメントAPIを通じて単体でも利用できます。

多くのプロダクトが依存しているため、アライナーには、対応するすべての言語での正確さ、非常に高速な処理、一度に多数のリクエストを処理する能力が求められます。

従来のアライナーの課題

新モデルの開発前、チームはこれまでのすべてのElevenLabsプロダクトで使われていたアライナーモデルを開発しました。強力なモデルではありましたが、新バージョンをさらに改善できると考えていました。Kozlovの入社後、彼とチームは以前のアライナーを使う際に何が不満だったか、ElevenLabsの顧客や社内ユーザーに聞き取りを始めました。寄せられた不満は、チームがテストしたオープンソースツールの限界と一致していました。

まず大きな問題となるのが、長さです。現在の多くのアライナーは約30秒のクリップでは十分に機能しますが、より長いファイルはチャンクに分割する必要があります。新しいチャンクごとにわずかなタイミング誤差が加わる可能性があり、チャンク間のつなぎ合わせでさらに誤差が増えることもあります。完全な録音では、Cueの平均タイミング誤差はわずか179ミリ秒であるのに対し、オープンソースツールは283msから6,000ms超の範囲でした。 

実際の環境で録音されたオーディオは、さらに難しい課題です。バックグラウンドノイズ、発話の重なり、環境音楽によって、多くのツールはテキストとオーディオの対応付けで位置を見失います。しかし、完全に静かな場所で暮らしている人はほとんどいないため、多くの人が実際に文字起こししたいのはこのようなファイルです。バックグラウンドの問題がある英語の録音では、Cueの平均誤差は57msで、他のツールの65msから920msと比べて優れています。

言語対応もまた制約の一つです。ほとんどのオープンソースアライナーは、対応する言語ごとに個別のモデルを必要とするため、学習データが少ない言語では性能が十分に出なかったり、そもそも対応していなかったりします。MMS-FAは、ベンチマークの29言語すべてに対応する唯一の別ツールですが、Cueは単語の境界を特定する速度において、全般的により優れていました。

大量のオーディオのアラインメントはすぐに高コストになるため、速度もこれらのモデルにとっての課題です。Cueは本番環境のGPU上で、1時間のオーディオを約0.5秒でアラインできます。次に高速なツールであるQwen3-ForcedAlignerは約2秒かかり、テストした中で最も遅いツールは1分以上かかりました。

Cueの違い

Cueは、ほとんどの競合製品とは異なり、90を超えるベンチマーク言語をカバーする単一モデルです。また、どの長さの録音でも1回の処理で対応できるため、長いファイルでタイミング誤差を蓄積させる原因となるチャンク分割を回避できます。

多くのモデルは性能向上に伴って大型化していますが、Cueは以前のElevenLabsアライナーよりも小さいモデルだとKozlovは言います。GPU上で動作しながらも、1時間のオーディオを約0.5秒でアラインします。 

チームは、人々が実際にアップロードするオーディオの種類を基にCueを開発しました。以前のアライナーをベースラインとして、実際のリクエストからベンチマークを作成し、ツールが配置できなかった単語はすべてエラーとして数え、すべてのツールを同じ方法で評価しました。Cueは、多くのベンチマークで使われる単語レベルのラベルより細かい文字レベルで動作するため、これらのスコアはCueの精度を過小評価している可能性があります。

「ある時点で、人間の能力の水準に到達します」とKozlovはアライナーモデルについて語ります。「現在のアライナーはその水準を超えているため、完全に正しいのか、どれほど正確なのかを確認するのはずっと難しくなります。比較の基準となる完璧なベンチマークがないからです。文字レベルのシステムを評価するために単語レベルのベンチマークを使う必要がありましたが、それではCueの可能性を十分に示せるとは限りません。」

Cueの品質は、ElevenLabsがユーザーフィードバックに迅速に対応できることも示しています。Cueの展開直後、ある顧客から、ジョージア語と、リソースの少ないほか数言語の性能が期待より低いとの報告がありました。ElevenLabsでは、リサーチをプロダクトを利用するチームや顧客の近くに置いているため、問題をすぐに把握し、可能なモデル改善を研究し、新バージョンのモデルをトレーニングしてリリースできました。顧客から最初に問題が報告されてから24時間以内のことです。 

楽曲のアラインメント

歌唱では単語が引き延ばされて曖昧になるため、音楽は難しく、うまく対応できるモデルはほとんどありません。チームはCueがここまでうまく処理できるとは予想していませんでした。Cueは、Creative CommonsライセンスのJamendoLyrics MultiLangデータセットに含まれる楽曲の一部をアラインできました。英語、フランス語、スペイン語、ドイツ語で、1回の処理によって、驚くべき精度を実現しました。単語の92.7％をラベルから0.3秒以内に配置し、次点のツールは82.0％でした。 

Cueの平均開始誤差は0.82秒で、最も近い競合製品のおよそ半分でした。22曲中少なくとも19曲で、他のすべてのツールより高い精度を達成しました。リリース当日にお気に入りの新曲をカラオケで歌える可能性は非常に大きなものです。 

Cueを今すぐ試す

CueはすでにElevenLabsのすべてのスピーチtoテキストによる文字起こしを支えています。直接利用するには、強制アラインメントAPIをお試しください。

謝辞

ElevenLabsのアライナーモデルに関する取り組みは、社内の多くの人々の協力なくしては実現できませんでした。チームは、共同創業者兼CTOのPiotr Dąbkowski、リサーチャーのDanila Kozlov、Luca Lanzendörfer、Flavio Schneider、Max Levi、Tim von Känel、Angelos Perivolaropoulosをはじめ、以前のモデルバージョンと新バージョンの開発に携わったすべての方々に感謝します。また、データオペレーションのAni Janelidze、Forward Deployed Engineerチームとサポートチーム、そして本ブログのビジュアライゼーションを手がけたLorenzo Dossiにも感謝します。