このページを印刷する
- 先端技術研究所
表情を先読みし遅延なく3Dアバターに反映可能とする表情予測技術を開発
～仮想空間「メタバース」でより快適なコミュニケーションの実現に向けて～
2022年2月28日
株式会社KDDI総合研究所
株式会社KDDI総合研究所（本社：埼玉県ふじみ野市、代表取締役所長：中村 元、以下「KDDI総合研究所」）は、画像認識技術で抽出した顔の表情データから、人工知能（AI）で未来の表情を予測する技術（以下「本技術」）を世界で初めて開発しました（注1）。
現状、表情を認識し、3Dアバターに反映するまでにはタイムラグが生じます。また、快適に会話するためには、映像や音声の遅延を0.15秒以内に抑えることが必要といわれています（注2）。このたび、0.2秒後の表情を未来予測し、常に先読みしてアバター描画することを実現しました。
本技術を、3Dアバターを用いた接客や会議、バーチャルイベントなどに活用することで、現実空間の人のまばたきや口の動きを遅延なく表現でき、仮想空間「メタバース」上でより快適な体験を提供することが可能となります。
図：表情予測技術を活用したメタバース上での3Dアバター対話のイメージ
【背景】
KDDI総合研究所は、2030年に向け、離れていてもあたかもそこにいる・あるかのような、距離を感じさせない社会の実現を目指し、XR技術を活用した次世代のコミュニケーション技術の研究開発を進めています。
働き方改革によるリモートワークの浸透や新型コロナウィルス感染症対策としての移動制限などに伴い、オンラインコミュニケーションの機会が増えてきています。また、自身の分身である3Dアバターを使った活動や交流が身近になっています。しかし、従来のアバター描画技術では、実際の表情を認識して3Dアバターの表情に反映する際に、表情認識やアバターの描画処理、描画した映像の伝送などによる遅延が発生し、インタラクティブなコミュニケーションの妨げとなっています。
【今回の成果】
従来のアバター描画技術で生じる遅延を低減するには、表情を未来予測し、先読み描画することで遅延を相殺することが有効ですが、その場合、予測処理自体も高速に行う必要があります。顔の表情は手や足といった骨格の動作と比較して、時系列データが急激かつ複雑に変化することから、高精度な予測を瞬時に行うことが困難でした。
今回、表情データそのものに加え、表情データの単位時間当たりの変化量（微分値）を入力データとして、未来の表情データを推定する機械学習モデル（再帰型ニューラルネットワーク（注3））を新たに開発することで、予測精度の向上を図りました（注4）。機械学習モデルの内部構造を変えることなく、入力データを改良することで、予測処理の負荷を増やすことなく複雑な時系列変化に対応できるようになりました。
今回の成果を3Dアバター描画に適用することで、現実空間の人の細かい表情を遅延なく反映することができ、メタバース上でもより対面の感覚に近いインタラクティブなコミュニケーションを実現できます。
また、KDDI総合研究所は、スマートフォン向けにフォトリアルな3DアバターのAR配信技術を開発しており（注5）、本技術と併用することにより、お客さまの通信環境によらず、よりリアルに感じられる体験を提供することが可能となります。
【今後の展望】
KDDI総合研究所は、本技術の予測精度をさらに高めるとともに、低速な通信回線においても映像伝送にかかる遅延を相殺できるよう、予測可能な時間の延伸に取り組みます。また、本技術を活用したリモート接客など、さまざまな用途での受容性評価やXR技術の更なる研究開発を進め、ニューノーマル時代の新しいライフスタイルの実現を目指します。
【補足資料】
（注1）2022年2月28日現在、 KDDI総合研究所調べ。
（注2）ITU-T勧告G.114にて、電話における快適な会話の目標値が片方向遅延150ms以内とされています。
（注3）再帰型ニューラルネットワークとは、機械学習の1つであるニューラルネットワークを拡張して時系列データを扱えるようにしたもの。出力を再び入力に利用する再帰型のネットワーク構造により、過去の情報に基づいた予測を行うことが可能。
（注4）時系列データ予測を行う既存の代表的な機械学習モデルを表情予測に単純適用し、表情データそのものを用いて学習した場合と比べて、予測精度が35％向上。主観評価にて予測結果が実際の表情から違和感ないことを確認。
（注5）フォトリアルな3DアバターのAR配信技術を開発
～スマートフォン向けバーチャルヒューマンを従来比1/3の伝送レートで実現～（2021年2月8日報道発表）
■ KDDI総合研究所の取り組み
KDDIとKDDI総合研究所は、2030年を見据えた次世代社会構想「KDDI Accelerate 5.0」を策定し、その具体化に向け、イノベーションを生むためのエコシステムの醸成に必要と考えられる「将来像」と「テクノロジー」の両面についてBeyond 5G/6Gホワイトペーパーにまとめました。両社は新たなライフスタイルの実現を目指し、7つのテクノロジーと、それらが密接に連携するオーケストレーション技術の研究開発を推進します。
今回の成果は7つのテクノロジーの中の「XR」に該当します。
※ニュースリリースに記載された情報は、発表日現在のものです。 商品・サービスの料金、サービス内容・仕様、お問い合わせ先などの情報は予告なしに変更されることがありますので、あらかじめご了承ください。