このページを印刷する
- 先端技術研究所
3D物体の音を立体表現する、音場のインタラクティブ合成技術を開発
～デジタルツイン体験をもっと豊かに～
2023年1月24日
株式会社KDDI総合研究所
株式会社KDDI総合研究所（本社：埼玉県ふじみ野市、代表取締役所長：中村 元、以下「KDDI総合研究所」）は、現実世界の人が発する音の向きや動きを仮想空間でも遜色なく体感できる、音場のインタラクティブ合成技術（以下「本技術」）を開発しました。
具体的には、人や動物の動きや容姿を撮影するモーションキャプチャーやボリュメトリックキャプチャーで得られた3次元（以下「3D」）物体の形状や位置情報を活用し、音源の向きや動きを伴った音場を、撮影された人および視聴者の双方の動作に応じてリアルタイムで合成します。仮想世界におけるアバターや人の動きと、発せられる音の向きや距離の変化などの動きが連動することで、視覚に加えて聴覚による空間認知が促されるため、より自然で豊かなオンラインコミュニケーションを楽しめます。
デジタルツイン（注）を実現する技術として、今後、コミュニケーション、エンターテインメントや教育など、幅広い分野での活用が期待されます。
図1：本技術の活用イメージ
【背景】
KDDI総合研究所は、2030年に向け、離れていてもあたかもそこにいる・あるかのような、距離を感じさせない社会の実現を目指し、五感の再現・表現を通じた次世代のコミュニケーション技術の研究開発を進めています。
近年、メタバースに加え、デジタルツインを実現するための要素技術の研究開発が国内外で活発に進められています。このうち、モーションキャプチャーやボリュメトリックキャプチャーは、人などの3D物体の動作や容姿を忠実に再現できるため、通信や放送、エンターテインメントなど、幅広い用途が見込まれています。これらを活用したメタバースなどの仮想世界を実現する多くのプラットフォームでは、3D物体を任意の向きや位置からリアルタイムで視聴できますが、人が発する音源の向きや動きは変化しないなど、音に関する表現力には課題がありました。
また、Beyond 5G/6G時代に期待される空間再現には、視覚情報だけでなく臨場感ある聴覚情報も不可欠であり、音の立体表現が求められていました。
【今回の成果】
この課題を解決するため、KDDI総合研究所は、音場のインタラクティブ合成技術を開発しました。
本技術は、人などの3D物体を取り囲むように離散配置した複数（10本程度）のマイクロホンを用いて、3D物体の撮影を通じて取得したその形状や位置情報を含む視覚情報を活用し、人から発する音源の向きや動きを伴った音場を、撮影された人および視聴者の双方の動作に応じてリアルタイムで合成できます。
これまで、密集配置した多数（十数本以上）のマイクロホンを用いて音源や音場を抽出または合成する技術や、事前に収録した音源からオフラインで合成する手法はありましたが、離散配置した複数のマイクロホンを用いて、音源の向きや動きを伴った音場をリアルタイムに合成する技術はありませんでした。また、広く普及している通常の3Dオーディオは、音源の位置のみに応じた再現に留まっています。
一方、本技術は、音源そのものが立体的に聞こえるほか、近づいたり回り込んだりしたときの音色の変化を体感できます。また、複数のカメラを離散配置するボリュメトリックキャプチャーとの親和性を有するため、現実世界の人などの3D物体を、高い表現力を持つ音と映像で仮想世界にリアルタイムで再現できます。
これらにより、メタバースやデジタルツインにおいて、例えば、アーティストやアイドルなど、現実世界の人と一緒に過ごす体験や、バーチャルYouTuberに代表されるモーションキャプチャーされたアバターなどとのコミュニケーションを、より自然で豊かに楽しめるようになります。
図2：本技術の特徴
【今後の展望】
今後は、現実世界での周辺環境に影響される音の反射や反響特性を考慮するなど、複雑な現実世界をよりリアリティー高く仮想世界に持ち込めるよう、音場の合成技術のさらなる高度化を図ります。また、KDDI総合研究所は3D点群圧縮技術PCC（Point Cloud Compression）に対応したリアルタイムコーデックを用いた伝送実験に成功しており、PCCと本技術を組み合わせるなど、メタバースプラットフォーム上での検証や評価も進めていきます。
【KDDI総合研究所の取り組み】
KDDIとKDDI総合研究所は、2030年を見据えた次世代社会構想「KDDI Accelerate 5.0」を策定し、その具体化に向け、イノベーションを生むためのエコシステムの醸成に必要と考えられる「将来像」と「テクノロジー」の両面についてBeyond 5G/6Gホワイトペーパーにまとめました。
両社は新たなライフスタイルの実現を目指し、7つのテクノロジーと、それらが密接に連携するオーケストレーション技術の研究開発を推進します。今回の成果は7つのテクノロジーの中の「XR」に該当します。
（注）現実世界にある物理的な情報をIoTなどで取得し、仮想世界に現実世界そっくりの空間を再現する技術。
※ニュースリリースに記載された情報は、発表日現在のものです。 商品・サービスの料金、サービス内容・仕様、お問い合わせ先などの情報は予告なしに変更されることがありますので、あらかじめご了承ください。