このページを印刷する
- 先端技術研究所
フォトリアルな3DアバターのAR配信技術を開発
～スマートフォン向けバーチャルヒューマンを従来比1/3の伝送レートで実現～
2021年2月18日
株式会社KDDI総合研究所
株式会社KDDI総合研究所（本社：埼玉県ふじみ野市、代表取締役所長：中村 元、以下「KDDI総合研究所」）は、スマートフォンを対象に、写実的な3DアバターのAR表示を従来の1/3の伝送レートで実現（注1）する「フォトリアルAR配信技術」を開発しました。伝送レートの低減により、AR表示をするスマートフォン側のデータ利用量の削減と、映像復号処理の負荷軽減によるバッテリー消費抑制（注2）が可能となり、バーチャルヒューマンなど、写実的な3Dアバターを活用したXRアプリケーションの利用拡大が期待できます。
フォトリアリルな3Dアバターの利用イメージ
【背景】
写実的な3DアバターのAR表示は、バーチャルヒューマンなど実写品質が求められるXRアプリケーションにおいて不可欠であり、エンターテインメントだけでなくビジネス用途など幅広い利用が見込まれています。現在、スマートフォン向けには、描画処理能力の制約から、写実的な3DアバターのCG描画をサーバで行い、その結果を2D映像としてストリーミング配信する手法が一般的です。スマートフォンでバーチャルヒューマンに求められる品質を維持するためには10Mbps以上（注3）の伝送レートが必要で、データ通信量および端末処理負荷の観点から課題となっていました。
【今回の成果】
KDDI総合研究所が開発したフォトリアルAR配信技術は、これまで一般的であった3Dアバターの描画をすべてサーバ側で行う手法とは異なり、一部の描画処理をスマートフォン側に持たせることで、写実的な3Dアバターの体感品質を維持しつつ、伝送レートを1/3に削減することに成功しました。
フォトリアルAR配信技術の仕組みは、ARを表示するスマートフォン側に低品質な3DアバターのCGデータを予め保存し、これを利用した簡易的なアバター描画（通常描画）が可能な状態にします。アバターの描画は、CGデータに対しアバター利用者の表情や動きの情報をもとに制御することで行います。この情報はサーバ、スマートフォンの双方に常に送信されます。サーバ側では、最初に、写実的な3Dアバターを忠実に描画（高品質描画）します。その後高品質描画から通常描画との差分情報を抜き出し、その差分情報を圧縮符号化して伝送します。スマートフォンでは、受信した差分情報を復号し、内部で生成した通常描画に足し込むことで、写実的な3Dアバターを再生します。
フォトリアルAR配信技術
【今後の展望】
KDDI総合研究所は、更なる伝送レートの削減に向けた取り組みを進めます。また、バーチャルヒューマンの受容性について、オンライン完結型の生活習慣改善支援プログラムを提供するPrevent社（注4）と共に、遠隔カウンセリングの用途における写実的な3Dアバターの利用可能性を評価していきます。
今後も「フォトリアルAR配信技術」を始めとして、au 5Gならではの新しいXR体験の創出を目指して、先進技術のさらなる研究開発を進めていきます。
■KDDI総合研究所の取り組み
KDDIとKDDI総合研究所は、経済発展と社会的課題の解決を両立する持続可能な生活者中心の社会「Society 5.0」の実現を加速する、2030年を見据えた次世代社会構想「KDDI Accelerate 5.0」を策定しました。両社は、ネットワーク、プラットフォーム、ビジネスの3レイヤの環境整備を進めると共に、3つのレイヤを支える先端技術となる7つの分野のテクノロジーと、それらが密接に連携するオーケストレーション技術の研究開発を推進します。
今回の成果は7分野のテクノロジーの中の「XR」に該当します。
注1：当社調べ。具体的には、予め用意した3DアバターのCGデータに対し、スマートフォンで写実的な体感品質を提供するのに必要となるビットレートを、従来技術と今回技術のそれぞれについて特定・比較した。
注2：充電100%の状態から、（ディスプレイ表示等の他の電池消費要因を最大限排した状態で）動画を30分流し続けた場合のバッテリー残量について、6Mbps、2Mbpsの結果が、それぞれ95％、98%であったことから、バッテリー消費を60％抑えたとみなす。
注3：解像度が1920×1080画素、フレームレートが30FPSの映像をH.264の最高画質設定で符号化する場合、10Mbps程度のビットレートが求められる。
注4：KDDI総合研究所とPrevent社の取り組みについて
2020年5月20日報道発表
生活習慣病の「オンライン重症化予防」高度化に向けたスマホデータ活用の実証実験を実施
【参考情報】
●3Dアバター
利用者の分身を表す3次元CGのキャラクター。表情や仕草を変えられるものもあり主にコミュニケーション用途で利用される
●バーチャルヒューマン
3次元CGで制作されたフォトリアルなキャラクター。実在や架空の人物をもとに制作され現実と見紛う高品質な見栄えを実現する
※ニュースリリースに記載された情報は、発表日現在のものです。 商品・サービスの料金、サービス内容・仕様、お問い合わせ先などの情報は予告なしに変更されることがありますので、あらかじめご了承ください。