プレスリリース「生成AIによるリアルタイム音声変換技術を開発　スマホで低遅延に動作し、様々なシーンでの利用が実現　VTuberなどのエンタメや社会課題領域まで幅広く協業パートナーの募集を開始」が公開されました。

DeNAのAIチームではスマートフォンでリアルタイム音声変換を実現できる生成AI技術を独自に開発しました。リアルタイム音声変換AIは、音声を受け取るAIと変換音声を出力するAIのペアからなり、これらをリアルタイムで動くようにチューニングすることで本技術を実現しています。これまでエッジデバイスと称されるスマートフォン上でのリアルタイム音声変換の動作は困難でした。今回、計算量を小さく保ったまま音声変換を可能にする技術を独自開発することで、高品質かつ遅延100ミリ秒※未満のリアルタイム性を維持しながらスマートフォン上で動作させることができました。 ※ミリ秒:1000分の1秒

この技術は高品質・低コストの技術であることから、幅広いシーンでの活用の可能性を見込んでいます。誰でも手軽にリアルタイム音声変換が可能になるため、ライブ配信やメタバースなどのエンタメ領域を中心に活用が見込まれます。

プレスリリースではリアルタイム音声変換のデモ動画も公開しております。この技術のリアルタイム性や品質の高さがわかるものになっていますので、ぜひ一度ご覧ください。