世界初 最新の映像符号化方式H.266|VVCに対応した4Kリアルタイムエンコーダを開発
~より臨場感のある映像を生活スタイルにあわせて楽しむために~
2020年9月1日
株式会社KDDI総合研究所
株式会社KDDI総合研究所(本社:埼玉県ふじみ野市、代表取締役所長:中村 元、以下「KDDI総合研究所」)は、最新の国際標準映像符号化方式H.266|VVC(Versatile Video Coding、以下「VVC」)(注1)に対応した4Kリアルタイムエンコーダの開発に世界で初めて成功しました(注2)。これにより、4Kの高精細映像をリアルタイムにかつ、現在広く使用されている映像符号化方式H.265|HEVC(High Efficiency Video Coding、以下「HEVC」)に対応したエンコーダに比べ約半分のデータ量で配信することが可能となります。今後、スポーツや音楽イベントなどの4Kライブ映像を、テレビはもちろんのことタブレットやスマートフォンで視聴できるのに加え、回線帯域の制限で低解像度の映像伝送で実現していた遠隔作業支援システムへの適用も可能になるなど、映像によるワクワク感や臨場感の向上が期待されます。
図1:適用例のイメージ
【背景】
ここ数年で4K/8Kといった高精細映像と共に、高ダイナミックレンジ映像(現実世界の明暗がより忠実に再現された映像)や高解像度の360度映像などが撮影されるようになり、映像の表現力向上に合わせてデータ量が膨大となっています。一方でテレビに加えPC、タブレット、スマートフォン、ヘッドマウントディスプレイなど映像を視聴するスタイルも多様化してきました。このような状況で、どの端末でも快適かつリアルタイムに映像視聴できるようにするためには、映像品質を維持したままデータ量をいかに削減するかが課題となっています。
この課題を解決するために、KDDI総合研究所では、HEVCを超える映像符号化方式として、2017年からVVCの国際標準化活動に携わってきました。また、VVCの規格化に貢献する傍ら、VVCの実用化に向けた技術や知識を蓄積してきました。VVCは、多様な用途に有効な映像符号化方式を謳っており、4K/8Kの映像のほか高ダイナミックレンジ映像や360度映像に対しても圧縮性能を向上させる手法が採用されています。また、HEVCと比較して2倍の圧縮性能を達成していますが、一方で映像圧縮に係る処理負荷がHEVCと比較して約10倍に増加しています(注3)。
【今回の成果】
このたび、KDDI総合研究所はVVCの実現に有効な高速化処理および並列化処理を考案・導入し、VVCに対応した4K/60fpsのリアルタイムエンコーダ(PCソフトウェアベース)を世界で初めて開発しました。
・高速化処理について
VVCでは、符号化処理単位である符号化ツリーブロック(CTB:Coding Tree Block、以下「CTB」)の画素数がHEVCのそれと比較して4倍大きくでき、またこのCTBを起点として分割・符号化されるブロックも様々な形状に分割できます(注4)。これによりVVCでは、入力映像に応じてより適切な分割サイズ・形状での符号化が可能なため、圧縮性能の向上をもたらします。ここで適切な分割サイズ・形状をCTB単位に決定できるかどうかが、圧縮性能を左右します。HEVCに対する代表的な実現例では、最適な分割サイズ・形状を選択するために、予めすべてのパターンにおいて符号化処理を行い、その中から効率が最大となるものを選択(以下「従来方式」)していました。しかしながら、従来方式をVVCに適用した場合、膨大な分割パターン数が直接的に処理時間に影響し、PCベースでのリアルタイム処理は不可能な状況でした。これに対して、今回の開発では入力映像の事前解析により分割サイズ・形状を予め決定することで、符号化処理は最適な1種類のみで完了することとなり、従来方式を適用する場合と比較して約30倍の高速化を実現しました。
図2:符号化単位について
図3:高速化処理について
・並列化処理について
PCソフトウェアでのリアルタイム処理のためには、並列化による実装が不可欠であり、HEVCなど従来の映像符号化方式については、フレームを構成するCTBの単位で複数のCPUによる並列処理を行うのが一般的でした。しかしながらVVCではCTBのサイズ拡大と分割サイズ・形状の多様化に伴い、CTBごとの処理負荷の偏りが増大したため、フレームに閉じた単純な並列処理ではCPUの稼働が一様ではなく、さらなる速度向上の余地がありました。これに対し、複数のフレームに跨ってCTB処理のスケジューリングを行う仕組みを新たに導入し、PCの有するCPUの稼働を理想的な状態に近づけることで速度向上に成功しました。
図4:並列化処理について
【今後の展望】
今後は、高解像度・高フレームレートへの対応、更なる圧縮効率の向上、KDDI総合研究所の映像関連製品(注5)への導入などを検討し、より臨場感のある映像を生活スタイルにあわせて楽しむための取り組みを進めます。
本技術は、総務省の「戦略的情報通信研究開発推進事業(SCOPE)国際標準獲得型」(JPJ000595)における「多様な用途、環境下での高精細映像の活用に資する次世代映像伝送・通信技術の研究開発」の委託を受けて実施した研究開発の成果です。
■KDDI総合研究所の取り組み
KDDIとKDDI総合研究所は、経済発展と社会的課題の解決を両立する持続可能な生活者中心の社会「Society 5.0」の実現を加速する、2030年を見据えた次世代社会構想「KDDI Accelerate 5.0」を策定しました。両社は、ネットワーク、プラットフォーム、ビジネスの3レイヤの環境整備を進めると共に、3つのレイヤを支える先端技術となる7つの分野のテクノロジーと、それらが密接に連携するオーケストレーション技術の研究開発を推進します。
今回の成果は7分野のテクノロジーの中の「XR」に該当します。
<7つのテクノロジーとオーケストレーション>
(注1)VVCは、現在4K/8K放送やインターネット経由の映像配信サービスで広く使用されている国際標準の映像符号化方式H.265|HEVCに対して、2倍の映像圧縮性能を達成する映像符号化方式であり、国際標準化機関のITU-TとISO/IECで2020年8月に規格化
(注2)解像度に関係なく、VVCリアルタイムエンコーダの開発事例としては世界初。(2020年9月1日時点、KDDI総合研究所調べ)
(注3)出典:“JVET AHG report: Test model software development (AHG3)”, JVET-S0003.
(注4)出典:” Versatile Video Coding (Draft 10)”, JVET-S2001.
(注5)VistaFinder Mx、MP-Factory
【補足資料】
概要図、用語説明など
➢エンコーダ:映像符号化を担うシステムを指します。映像符号化は、動画像信号を限られた帯域や容量で伝送や蓄積するために利用する圧縮方法で、画像内や画像間の類似性を利用してデータ量を削減しています。例えば2018年から開始されている高度BSでの新4K/8K衛星放送では国際標準符号化方式であるH.265|HEVCが利用されており、もともと約7.5Gpbs必要とされる4K映像を30Mbps程度にまで圧縮して伝送しています。
➢デコーダ:エンコーダが出力した圧縮データを受信し、映像に復号するシステムを指します。映像符号化方式に対応した復号処理を用意する必要があり、一般に方式を跨いだ相互接続性は保証されません。
➢H.265|HEVC:ITU-TとISO/IECの各下部組織の合同により2013年に規格化された映像圧縮符号化標準で、国内の放送用途ではARIB STD-B32第3部で規定されており、新4K/8K衛星放送などの運用規定にも採用されています。
➢リアルタイムエンコーダ:デコーダが復号する圧縮データの符号化処理速度が、デコーダの復号処理速度と同じ速さで行われるエンコーダです。
※ニュースリリースに記載された情報は、発表日現在のものです。 商品・サービスの料金、サービス内容・仕様、お問い合わせ先などの情報は予告なしに変更されることがありますので、あらかじめご了承ください。