Spotify、新しいパイロットプログラムで AI を使用してポッドキャスターの音声をクローンして翻訳

Spotifyは月曜日、OpenAIの音声合成技術を利用して元の話者の声を保存し、AIを利用してポッドキャストをさまざまな言語に自動翻訳する限定的なパイロットプログラムを公開した。この機能は、従来の吹き替えと比較して、より本格的なリスニング体験を提供することを目的としています。また、機械翻訳は完璧なテクノロジーには程遠いため、非母語話者にとっては発見が難しい言語エラーが発生する可能性があります。

プログラムを発表したプレスリリースの中で、Spotifyは、クリエイターが自分の作品を世界中で共有できるプラットフォームであると述べている。次に、「最近の進歩により、私たちはこう考えてきました。言語のギャップを埋めて、これらの声を世界中に届けることができるもっと方法はないでしょうか?」と質問します。

Spotify の答えは、音声翻訳です。これは、話者の独特の音声特性を維持しながら、英語の音声をスペイン語、フランス語、ドイツ語に翻訳できると言われています。この機能は現在、ダックス・シェパード、モニカ・パッドマン、レックス・フリッドマン、ビル・シモンズ、スティーブン・バートレットなどの選ばれたポッドキャスターのみで使用されています。

「AIへの思慮深いアプローチは、人間の創造性の可能性を解き放つというSpotifyの使命の重要な要素である、リスナーとクリエイターの間により深いつながりを築くのに役立つと信じています」とSpotifyのパーソナライゼーション担当副社長のジアド・スルタンは発表の中で述べた。

X では、レックス・フリードマンがクローンしてスペイン語に翻訳した自分の声のサンプルを投稿し、「これは Spotify AI エンジニアの素晴らしい仕事のおかげで、スペイン語を話している私です。」翻訳と音声クローン作成はすべて AI によって行われます。言語は理解の壁を生み出し、分断を促進する可能性があります。AI がこの障壁を打ち破り、私たちに共通の人間性を明らかにするのが待ちきれません。」

ロストイントランスレーション

しかし、すべてのポッドキャスターが自動 AI 翻訳の可能性に興奮しているわけではありません。BlueSkyのニュースに反応して、Retronautsの共同制作者で共同司会者のジェレミー・パリッシュは、「なぜポッドキャストをSpotifyで利用できるようにしないのかと人々が尋ねるとき、目を丸くするもう1つの理由」と投稿した。

これまで、MicrosoftとMeta の両方の音声クローン テクノロジが、ソース オーディオのサンプルを分析し、そのオーディオを音声の大規模なトレーニング データ セットで拡張して、新しく似た音声を合成するのを見てきました。このテクノロジーは、人の声のスタイルがトレーニング サンプルのデータ セットで適切に表現されていない場合、特に特定のアクセントの場合に失敗する可能性があります。

ここで、Spotify はさらに複雑なレイヤーを追加し、言語間の意味を間違いなくシームレスに翻訳することを望んでおり、これは Meta もSeamlessM4Tで試みたものです。過去 10 年間で、AI 主導の翻訳は大きな進歩を遂げましたが、人間の翻訳者がゲームから完全に排除されたわけではありません。業界の専門家は、これらのシステムは依然としてニュアンスにつまずき、文化的背景を理解していないため、翻訳された資料の品質に影響を与えていると指摘しています。

テクノロジーに精通したユーザーは、ソースが機械翻訳として適切に構成されている場合、翻訳の間違いを予想する可能性がありますが、その間違いがポッドキャスター自身の声で発生した場合、特に翻訳された音声が文脈から切り離されている場合には、新たな次元の問題が追加される可能性があります。後にオリジナルと推定される。さらに、元の話者が翻訳された言語を知らない場合、翻訳が元の意図を正確に反映しているかどうかを確認することができません。そのため、多くの信頼と個人の評判が、実証されていない自動化テクノロジーの手に委ねられることになります。

今のところ、Spotifyのプログラムは選ばれたポッドキャスターのみの間で限定的なオプトインベースで機能しているようで、これがより広範囲に展開されない限り、ポッドキャストゲストの音声のクローン作成を巡る同意の問題は問題にならないようだ。Spotifyは今後、クリエイターやリスナーからフィードバックを集めて音声翻訳機能を改良したいとしている。しかし、このプラットフォームには 1 億人以上のポッドキャスト定期リスナーがおり、翻訳テクノロジーが恥ずかしい間違いを犯した場合、この実験がうまくいかない可能性は 1 億通りあります。