AIのインタラクションレイヤーを構築：ElevenLabs Summit NYCで発表したすべて

AIはかつてないほど高い能力を備えています。しかし、その知能を広く利用できるようにするには、誰もが理解しやすく、使いやすいシステムが必要です。そのためには、やり取りが自然で直感的に感じられなければなりません。ElevenLabsは、AIのためのインタラクションレイヤーを構築しています。

本日開催したニューヨークサミットで、ElevenLabsは新しいモデル、エージェント、導入オプションを発表しました。企業がAIを通じて人々とやり取りし、新たな収益機会を生み出せるよう支援します。

「数年以内に、会話型エージェントはクラウドや決済と同じくらい不可欠な、あらゆる企業の基幹インフラになるでしょう」と、ElevenLabsのCEO兼共同創業者Mati Staniszewskiは述べました。「すべての企業が、顧客や従業員、そして社会との関わり方を根本から見直す必要があります」

ElevenLabsがサミットで発表した内容をご紹介します。

あらゆるインタラクションを支えるモデルの進化

ElevenLabsは音声から出発し、自然な会話を実現する業界最先端のモデルを構築してきました。現在は、人とテクノロジーのあらゆる関わり方を支えるモデルやツールへと取り組みを広げています。

Staniszewskiはステージ上で、AIシステムと顧客、従業員のやり取りをより自然で状況に即したものにする、複数のアップデートを先行公開しました。「ElevenLabsの使命は、人とテクノロジーのインタラクションという課題を解決することです。そして今、初めてそれが実現可能になりました」と語りました。

オープンソースモデルとElevenLabs音声モデルを自社の領域に合わせて微調整

業界ごとに固有の言葉や慣習があります。顧客への対応方法や、会話に最適なチャネルも業界によって異なります。そこでElevenLabsは、主要業界に特化したモデルを開発してきました。領域特化型のスピーチtoテキストモデルは、金融業界のEBITDAや行政分野のHIPAAなど、各企業が属する業界で実際に使われる用語を学習します。ElevenLabsはこのアプローチを用いて、医療向け文字起こしモデルのScribe v3 Medicalを開発しました。数千もの複雑な医療用語を大幅に高い精度で認識し、サイクロセリンとシクロスポリンのような薬剤名の違いも判別できます。そのため、患者に免疫抑制剤ではなく、正しい結核治療薬を提供できます。

この取り組みは今後も加速していきます。Staniszewskiは、金融サービス業界向けに領域最適化モデルを開発中だと述べました。また、企業は業界だけでなく、自社固有の状況や顧客に合わせて使用するモデルを改良できるべきだと考えています。

基調講演でStaniszewskiは、今後数か月以内に、一部のオープンソース言語モデルとElevenLabs音声モデルを各企業の用途に合わせて微調整できるよう支援すると発表しました。「人や企業ならではの特徴を反映しなければ、人とAIのインタラクションという課題は解決できません」と述べました。

チームは、自社ならではの特徴に合わせてモデルを微調整できるようになります。企業は実環境での導入データを持ち込み、ElevenLabsの研究者と協力して、その環境を支えるモデルを改良できます。顧客満足度スコア（CSAT）や信頼性など、重視する指標を企業ごとに選択可能です。ElevenLabsの研究者が、実際の導入環境から得たデータを使い、それを支えるモデルの微調整を支援します。新たなインタラクションが発生するたびに継続的に最適化できます。Staniszewskiはこれを、各社が実質的に独自の強化学習スタックを持つようなものだと説明しました。

「AIの精度と有用性を高めるため、今後も領域最適化モデルを提供していきます。しかし企業はさらに先へ進み、業界だけでなく、自社や顧客に合わせてモデルを改良できるべきだとも考えています」とStaniszewskiは述べました。「これは、データを最大限に活用し、自社ならではの優位性をさらに伸ばすための最善策の一つです」

会話全体を統括するInteraction Engine

すべてのエージェントタスクで、各ステップに最先端モデルが必要なわけではありません。特定の成果を得るために、どのモデルを、どのように、いつ使うかを判断すること自体が高度な技術です。ElevenLabsの研究者は、この課題の解決に取り組んできました。

ElevenLabsは、会話のリズムを起点とする新システム「Interaction Engine」を先行公開しました。発話の交代や割り込みを処理するため、エージェントはいつ会話に入り、いつ話すのをやめるべきかを判断できます。また、やり取りの各場面に適した大規模言語モデル（LLM）も選択できます。初期対応には低コストのモデルを使ってトークン使用量を抑え、必要に応じて最先端モデルがより複雑なタスクを処理します。

ElevenAgentsの大規模アップグレードなど

ElevenAgentsは、営業、サポート、採用、業務運営で使用する音声・チャットエージェントの設定、導入、改善を行うプラットフォームです。対話相手を理解し、そのニーズに合わせて対応します。

Yahoo、Westgate、KPNなどの顧客やパートナーは、すでにElevenAgentsを活用しています。そして、背景や文化をより深く理解するエージェントが、すべての人により良い成果をもたらすことを実感しています。

Staniszewskiは、エージェントと顧客のやり取りをよりスムーズで自然にする、ElevenAgentsの複数のアップデートを紹介しました。

MemoryでElevenAgentsがリピーターを記憶

カスタマーサポートでの会話では、重要な情報が共有されても、記録されず対応に活かされないことがよくあります。「人との優れた会話を特徴づけるものの一つは、相手が話したことを覚え、それに基づいて行動することです。エージェントも同じであるべきです」とStaniszewskiは述べました。

Memoryを使うと、ElevenAgentsのエージェントは顧客情報を継続的に蓄積し、認証済みのリピーターを識別して、以前の会話内容を思い出せるようになります。CRMは引き続き主要な顧客記録として機能しますが、Memoryは好み、制約、今後の予定など、既存の入力項目には収まらない会話中の情報を記録します。顧客がスペイン語を希望し、午後5時以降しか話せない場合、エージェントはそれを記憶して対応します。

エージェントはやり取りのたびに、会話を構造化された記録にまとめ、顧客が再び連絡してきたときに更新します。また、後で重要になる情報も保持します。3月に引っ越すと話していた電話サービスの契約者が4月に電話してきても、もう一度説明する必要はありません。エージェントは、新住所へのサービス移転を希望するか自動的に確認し、古い住所の情報を無効にします。会話を重ねるたびに顧客への理解が深まり、やり取りは前回よりもパーソナルになります。

Routinesが会話前後の業務を処理

カスタマーサポートへの電話に伴うフォローアップ業務の多くは、通話終了後に発生します。その作業は、元の会話に関わっていなかった人やツールが担当することも少なくありません。ElevenAgentsの新しい自動化レイヤー「Routines」を使うと、ユーザーは各会話の前、最中、後に複数ステップの作業を実行できます。チームがすでに利用しているツールやシステムにも接続できます。

Routineでは、住宅ローン申請者を事前審査して数分以内に折り返したり、受診前に患者へリマインドし、キャンセルで空いた枠をキャンセル待ちの患者へ案内したりできます。レポートのメール送信、CRMへの書き込み、通話の開始も、ElevenAgents内で直接実行するよう設定できます。

Routinesを使えば、ElevenAgentsが各会話に伴う業務をより多く担います。チームは準備やフォローアップにかける時間を減らし、顧客対応により多くの時間を使えます。

ElevenAIで大切な会話に集中

Staniszewskiは基調講演で、ElevenLabsの新しいアプリ「ElevenAI」を先行公開しました。企業チームのAIメンバーとして、対面会議を含む会話を聞き取り、メモや次のアクションにまとめます。ElevenAgentsが企業と顧客をつなぐインタラクションレイヤーなら、ElevenAIは従業員の業務を支えるインタラクションレイヤーになります。

ElevenAIは、ElevenLabsの最新かつ最も高精度なスピーチtoテキストモデルScribe v3を活用した音声入力と会議メモ機能を提供します。会議では参加者全員の同意を得てメモを取り、通話終了後に各参加者向けの要約とアクション項目を作成します。また、通話中にリアルタイムで支援し、コンテキストを共有して、人とエージェントの連携を強化できます。通知と同意の仕組みが組み込まれているため、会話の相手も安心して利用できます。

日常生活で個人用エージェントを頼る機会が増えるにつれ、職場でも従業員向けに設計されたサポートが必要になります。ElevenAIは企業のツールやプロセスに適応し、勤務中を通してユーザーを支援します。また、エージェントと人の間で適切なコンテキストを引き継ぎ、両者が一つのチームとして連携できるようにします。ElevenAIの無料早期アクセスは本日開始します。

ElevenLabs Partner ProgramとElevenLabs Marketplaceで企業向けエコシステムを拡大

ElevenLabsのパートナーネットワークは、Google Cloud、IBM、Deloitte、DXC、Genesysなど、44か国、550社以上に拡大しました。本日、ElevenLabs Partner Programを開始します。これにより企業は、自社のビジネスを熟知したコンサルティング会社、システムインテグレーター、ソフトウェアベンダー、代理店と連携し、ElevenAgentsをより簡単に導入できます。パートナーが既存の技術スタックとのインテグレーションを担当するほか、複雑な導入ではElevenLabsのFDEと連携し、最短で価値を実現できる方法を選べます。

このプログラムの一環として、ElevenLabsはMcKinseyとの提携も発表します。ElevenAgentsと同社の企業変革に関する専門知識、そしてMcKinseyのAI部門QuantumBlackを組み合わせます。企業はElevenLabs上で自ら構築する、パートナーと共同で構築する、またはパートナーから購入するという選択肢から、複雑なシステム全体にエージェントを展開できるようになりました。

さらに、ElevenLabsとNVIDIAはパートナーシップの拡大を発表しました。Nemotron 3.5 Super VLがElevenAgentsで利用可能になり、ElevenLabsは新たに15MWのVera Rubinコンピューティング能力も追加します。両社は、ポーランドの国営eヘルスプラットフォーム向けにオンプレミス型の音声エージェントも共同開発します。このエージェントは、固定電話しか利用できない患者の予約受付を支援します。

本日、ElevenLabs Marketplaceも発表します。これは、ElevenLabsを基盤としてテクノロジーパートナーが構築した、医療、金融サービス、保険、教育、小売などの業界に特化したAI・音声アプリケーションを厳選して集めたものです。企業はエージェントやアプリケーションを閲覧し、その開発元であるパートナーへ直接連絡できます。来年からは、既存のElevenLabs利用契約を使って、Marketplaceからこれらのエージェントを購入できるようになります。

インタラクションの課題が解決された先にあるもの

Staniszewskiは基調講演の最後に、人とAIのインタラクションという課題が解決されたら何が起きるのかと問いかけました。その答えは、テクノロジーが人に適応し、言語、地理、規模の制約がなくなり、地域ならではのニュアンスや文化が守られる世界です。

「AIによってあらゆるものが一極集中し、画一化されるのではないかと懸念するのは当然です。企業が競争優位性を守れなくなる、新しい世代のAIが登場するたびにすべてが平均へ回帰する、といった懸念です」とStaniszewskiは述べました。「私たちが構築しているのは、その逆です。企業ならではの特徴を際立たせ、独自の優位性をさらに伸ばすためのモデル、プロダクト、コミュニティです」

本日の発表は、その未来へ向けた一歩です。ElevenLabsは、ニューヨークに集まった顧客、パートナー、デベロッパーとともに、その未来を築いていきます。まずはElevenAgentsから始めてください。