先端技術研究所

マルチモーダルインタラクション分野の難関国際学会ICMI 2023に論文が採録

2023年10月6日
株式会社KDDI総合研究所

KDDI総合研究所は、没入感を高めることを目的とした視聴覚表現手法に関する研究論文（以下、本論文）が、マルチモーダルインタラクション分野の難関国際会議である「ICMI 2023（注1）」に採録されたことをお知らせします（論文採録率33%：ICMI 2022実績、2023年10月9日～13日、フランス・パリ開催）。

【研究概要】
近年、360度動画やバーチャルリアリティ（VR）コンテンツが広く普及し、スマートフォンで体験する機会が増えています。360度動画やVRコンテンツのマルチモーダル表現はヘッドマウントディスプレイ（HMD）での視聴に適していますが、小さなスクリーンしか持たないスマートフォンをはじめとするモバイル機器では得られる没入感が限られます。本論文では、モバイル機器での没入感を高めるために独自の音場合成と視覚表現を組み合わせたインタラクティブな視聴覚表現手法（以下、提案手法）を提案、比較するとともに、印象や受容性に関する主観評価を実施し、結果を取りまとめました。提案手法は、KDDI総合研究所が実証実験として公開している「新音楽視聴体験音のVR」（注2）アプリに採用されており、モバイル機器のタッチスクリーンなどの操作で音と映像が連動して変化し、視聴者が選択した任意の角度範囲で360度動画やVRコンテンツを楽しむことができるものです。今後は視覚や聴覚だけでなく、触覚などの五感を組み合わせた多様な表現を取り入れ、利用シーンに合わせた没入感をより深めることを目指します。

【原著論文情報】
Toshiharu Horiuchi, Shota Okubo, and Tatsuya Kobayashi.
Augmented Immersive Viewing and Listening Experience Based on Arbitrarily Angled Interactive Audiovisual Representation.
Proc. 25th ACM International Conference on Multimodal Interaction (ICMI 2023). Paris, France, 2023-10-09/13.
2023, doi: 10.1145/3577190.3614138.

本研究成果は、国立研究開発法人情報通信研究機構（NICT、エヌアイシーティー）の委託研究（06801）により得られたものです。

【KDDI総合研究所の取り組み】
KDDIとKDDI総合研究所は、2030年を見据えた次世代社会構想「KDDI Accelerate 5.0」を策定し、その具体化に向け、イノベーションを生むためのエコシステムの醸成に必要と考えられる「将来像」と「テクノロジー」の両面についてBeyond 5G/6Gホワイトペーパーにまとめました。
両社は新たなライフスタイルの実現を目指し、7つのテクノロジーと、それらが密接に連携するオーケストレーション技術の研究開発を推進します。今回の成果は7つのテクノロジーの中の「XR」に該当します。

（注1）The 25th ACM International Conference on Multimodal Interaction
（注2）新音楽視聴体験音のVR

※ニュースリリースに記載された情報は、発表日現在のものです。商品・サービスの料金、サービス内容・仕様、お問い合わせ先などの情報は予告なしに変更されることがありますので、あらかじめご了承ください。