抱えていた課題

配信者に合わせてリアルタイムでキャラクターを動作させるため、高速で高精度な顔認識が必要なものの、Androidと一部のiOS端末では顔認識の精度が不十分

実現した結果

任意のプラットフォームで動作可能かつ高精度で高速な顔認識システムの開発に取り組み、ARKitに近い精度に加え、ミドルスペックの端末において十分な速度(>>30FPS)を達成

---

キャラライブアプリIRIAMでは、視聴者様に動画データを届けるのではなく、顔を表現するパラメータなどをモーションデータという形で配信する「モーションライブ方式」を採用しています。
これにより、少ない遅延と通信量、そして高画質を実現しています。
「モーションライブ方式」の実現のためには、高速かつ高精度で配信者様の表情を認識することが必要です。
これを行うために、DeNAのデータ本部とIRIAMで協力して、より優れた独自の顔認識モジュールを作ることになりました。

高速で高精度な顔認識モジュールを実現

Unity(M1 Mac)上でのデモ動画がこちらです。

現在、さまざまな状況に対応するため、MediapipeというGoogle製のOSSをベースに学習したものと、独自にエンドツーエンドで学習を行ったものの2種類のバージョンの表情認識モデルを用意するべく進めています。
エッジデバイスにおける推論の際は、Tensorflow Lite形式に独自に変換したものを用いております。
技術的な詳細は、DeNA TechCon 2023の発表をご覧ください。