このページを印刷する
- 先端技術研究所
点群圧縮技術の最新の国際標準方式に対応したリアルタイムエンコーダーを開発
～メタバースでの活用が期待される3D映像を高い表現力で伝送～
2022年10月24日
株式会社KDDI総合研究所
株式会社KDDI総合研究所（本社：埼玉県ふじみ野市、代表取締役所長：中村 元、以下「KDDI総合研究所」）は、三次元（以下「3D」）点群圧縮技術の最新の国際標準方式であるV-PCC（注1）に対応したリアルタイムエンコーダーの開発に世界で初めて成功しました（注2）。これにより、人物などの3D点群のデータ品質を落とすことなくデータ量を大幅に削減し、効率的にモバイル回線でリアルタイム伝送することが可能となります。高精細な3D映像により、表情や仕草といった繊細な動きを高い臨場感で表現できるため、現実世界と仮想世界をつなぐ技術として、今後、メタバースでのショーイベントなどにおける活用が期待されます。
図1：3D点群イメージ
【背景】
近年、ボリュメトリックスタジオ（注3）が多数開設され、臨場感のある高精細な三次元データである3D点群を利用したコンテンツ制作が広く行われるようになり、それらのコンテンツは膨大なデータ量となっています。また、PCやタブレット、スマートフォン、ヘッドマウントディスプレイなど3D点群のコンテンツを視聴する端末形態は多様化しています。このような状況で、さまざまな環境において快適に高品質な視聴体験を提供するためには、3D点群のデータ品質を維持したままデータ量を削減する必要がありますが、これまでの圧縮技術では50Mbps以上のデータ量を要します。これはモバイル回線を介して安定的に伝送することは困難なデータ量であり、さらなる削減が求められていました。
KDDI総合研究所は、2020年からV-PCCの国際標準化活動に携わってきており、V-PCCの実用化に向けた技術や知識を蓄積してきました。V-PCCは動きのある人物などの3D点群の圧縮に適しており、例えば、フォトリアルな人物表現によるライブコマースなど、主にコンテンツ配信での利用が期待されています。V-PCCは非圧縮時と比較し、品質を維持しながら、データ量を1/40に削減することが可能です。これは、これまでの圧縮技術と比較して2倍の性能に匹敵し、上述の50Mbps以上というビットレートを半分に抑えることができ、結果、モバイル回線を介した伝送を可能とします。
一方で、さまざまなショーイベントで臨場感のある視聴を実現するには3D点群として2,000万点/秒（1.0Gbps）規模が必要ですが、圧縮にかかる処理負荷が高く、リアルタイム処理は困難な状況でした。
【今回の成果】
このたび、KDDI総合研究所はV-PCCに対応したリアルタイムエンコーダーの実現に向けて、約400倍の高速化につながる2つの技術を確立し、PCソフトウェアにより動作する、V-PCC対応リアルタイムエンコーダーの開発に成功しました。
（1）3D点群を通常の映像と同じ形式へ高速に変換する技術
（2）V-PCCに適したタスクスケジューリング方式によるCPU使用率を改善する技術
＊技術の詳細は別紙参照
この結果、3D点群のデータ品質を落とすことなく、効率的にモバイル回線でリアルタイム伝送することが可能となります。3D点群のライブ配信ができることにより、例えば音楽やファッションなどのショーイベントを対象に、ボリュメトリックスタジオで撮影した映像をそのままメタバースに参加させるといった新しいイベント体験の創出が期待されます（図2）。
図2：メタバース空間でのショーイベントライブ視聴体験イメージ
【今後の展望】
今後は、ライブ伝送システムの開発や、スマートフォンやVRデバイスでの体験アプリケーションの開発を行い、より臨場感のある3D点群の配信を普及させる取り組みを進めます。
本技術は、総務省SCOPE（国際標準獲得型）JPJ000595の委託を受けて実施した研究開発の成果です。
【KDDI総合研究所の取り組み】
KDDIとKDDI総合研究所は、2030年を見据えた次世代社会構想「KDDI Accelerate 5.0」を策定し、その具体化に向け、イノベーションを生むためのエコシステムの醸成に必要と考えられる「将来像」と「テクノロジー」の両面についてBeyond 5G/6Gホワイトペーパーにまとめました。
両社は新たなライフスタイルの実現を目指し、7つのテクノロジーと、それらが密接に連携するオーケストレーション技術の研究開発を推進します。今回の成果は7つのテクノロジーの中の「XR」に該当します。
（注1）点群とは、3D物体を点の位置と色の集合で表現するデータ形式。また、V-PCC（Video-based point cloud compression）は、国際標準化機関のISO/IECで2020年10月に規格化。
（注2）V-PCCに準拠したリアルタイムエンコーダーの開発事例として世界初。（2022年10月21日時点、KDDI総合研究所調べ）
（注3）被写体を取り囲むように多数のカメラを設置して、さまざまな角度から撮影した映像データをもとに3D点群のコンテンツを制作する撮影スタジオ。
【補足資料】
➢エンコーダー：点群圧縮を担うシステムを指します。3D点群圧縮は、3D点群を限られた帯域や容量で伝送や蓄積するために利用する圧縮方式で、点の位置関係、画像内や画像間の類似性を利用してデータ量を削減しています。
➢デコーダー：エンコーダーが出力した圧縮データを受信し、3D点群に復号するシステムを指します。3D点群圧縮方式に対応した復号処理を用意する必要があり、一般に方式をまたいだ相互接続性は保証されません。
➢リアルタイムエンコーダー：デコーダーが復号する圧縮データの圧縮処理速度が、デコーダーの復号処理速度と同じ速さで行われるエンコーダーです。
（別紙）
【成果の技術詳細】
（1）3D点群を通常の映像と同じ形式へ高速に変換する技術
V-PCCでは、図3に示すように3D点群のフレーム群をパッチと呼ばれる単位に分解して2D平面画像に投影し、通常の映像と同じ形式に変換します。変換では、受信側で3D点群を復元できるように、パッチ情報とテクスチャー画像、深度画像、マスク画像の4種類を同時に生成し、それぞれに既存の映像符号化方式を適用することでビットストリームを生成します。従来は、あるフレームにおいて3D点群を構成する約80万個の点がどの2D平面に投影されるのか、数個の点ごとに判定していたため、膨大な処理時間が必要でした。
今回の開発では、3D空間をパッチよりも小さな小空間に分割し、多数の点が含まれる小空間ごとに平面を判定する高速化手法を導入しました。さらに、当社の映像圧縮に関する知見を、2D平面画像のうちテクスチャー画像と深度画像の変換処理に適用することで、圧縮性能を損なうことなく、変換処理にかかる時間を削減しました。これらの組み合わせにより、従来方式と比較して約20倍の高速化を実現しました。
図3：点群の符号化処理の例
（2）V-PCCに適したタスクスケジューリング方式によるCPU使用率を改善する技術
PCソフトウェアでのリアルタイム処理のためには、CPUの性能を活用する並列化実装が不可欠です。HEVC（High Efficiency Video Coding）やVVC（Versatile Video Coding）など既存の映像符号化方式では、フレームを構成するCTB（Coding Tree Block）単位での処理を、複数のフレームにまたがる形で並列化するために、多数のCPUコアに対するタスクスケジューリングの仕組みを導入し、CPU使用率を理想的な状態に近づけることで速度向上を実現していました。V-PCCでは、図3に示すように、異なるフレーム種別を扱い、さらにそれらの処理順序に一定のルールがあります。一例として、これまでの複数のフレームにまたがるCTBの並列化方式を採用し、フレーム種別ごとにCPUコアを割り当てた場合のCPU使用率は、図4上部のようになります。図から明らかなように、CPUコアごとの使用率に偏りがあり、さらなる速度向上の余地がありました。
今回の開発では、フレーム種別間の処理順序、およびフレーム種別に応じた処理量を考慮し、異なるフレーム種別にまたがる形での並列化にも対応できるタスクスケジューリングの仕組みを新規に導入しました。その結果、図4下部に示すようにCPU使用率を理想的な状態に近づけることで、約20倍の高速化に成功しました。
図4：CPU使用率の改善イメージ
※ニュースリリースに記載された情報は、発表日現在のものです。 商品・サービスの料金、サービス内容・仕様、お問い合わせ先などの情報は予告なしに変更されることがありますので、あらかじめご了承ください。