このページを印刷する
- KDDI research atelier
マスク着用時の表情認識AI技術を開発
～コロナ禍の新しい日常でも表情を認識することが可能に～
2021年2月24日
株式会社KDDI総合研究所
株式会社KDDI総合研究所（本社：埼玉県ふじみ野市、代表取締役所長：中村 元、以下「KDDI総合研究所」）は、マスクを着けている人でも、90％以上の精度でポジティブ・ニュートラル・ネガティブの表情を分析できる「顔領域適応型表情認識AI」を開発しました。これにより、企業、教育機関、公共施設、イベント会場など、日常的にマスクを着用する場面で、人の表情を高精度に分析する新しいサービスの実現が期待されます。
【背景】
KDDI総合研究所ではこれまで人の感情や状態を推測するための技術として、表情認識AI技術の研究に取り組んできました（注1）。しかし、新型コロナウイルス感染拡大を防ぐため、日常的にマスクを着用することが求められており、マスクを着用した場合は顔の面積の最大70％が覆われ、KDDI総合研究所の従来の表情認識AI技術（従来技術）では十分に認識できないという課題が生じました。
【今回の成果】
この度、KDDI総合研究所は、マスクを着用していても90％以上の精度でポジティブ・ニュートラル・ネガティブの表情を認識する独自の深層学習技術「顔領域適応型表情認識AI」を開発しました。本技術はマスクで顔の大半（70%ほど）を隠したとしても、顔露出領域とマスク着用領域を別々に分析し総合的に客観評価して表情を認識します。
【技術的特徴】
今回開発した「顔領域適応型表情認識AI」は、マスクを着用した人の顔画像から高精度に表情を認識するために、顔露出領域とマスク着用領域を別々に推定しながら、両者の相関関係も同時に考慮して実現しました。
・顔露出領域については、目の周辺領域の特徴量（例えば、表情は眉間にシワを寄せるなどに表れやすい）に加えて、検出顔のその他の領域（例えば、鼻・口・頬・顔面の筋肉の露出領域）も可能な限り活用。
・マスク着用領域についても、顔全体、特に鼻・口・頬における筋肉の変化によって、マスク自体にシワが生じて変形することとなるため、マスク着用領域の特徴量も学習。また、顔露出領域から認識された表情の特徴量と、マスク着用領域から認識された表情の特徴量との相関関係を得られるように、それぞれの特徴量の重要度を学習で数値化。
図1：「顔領域適応型表情認識AI技術」の学習モデル構築概要図
（1）顔の入力画像に対して画素単位でマスク着用の境界領域を検出し、顔露出領域及びマスク着用領域をそれぞれ抽出
（2）顔露出領域及びマスク着用領域に対して、それぞれのニューラルネットワーク「顔露出領域特徴量抽出モデル」および「マスク領域特徴量抽出モデル」に入力し学習。中間層特徴量層は、ニューラルネットワークの最終段の中間層を可視化することで、それぞれの領域画像の特徴量を認識。
（3）顔露出領域及びマスク着用領域の相関関係を学習するため、中間特徴量融合層は、表情分類の教師ラベルに基づいて、下記により、「顔露出領域特徴量抽出モデル」および「マスク領域特徴量抽出モデル」のそれぞれの中間特徴量層毎に異なる重み（それぞれの中間特徴量層からの特徴量の重要度を数値化したもの）を学習で導出（注2）。
・顔露出領域入力中間層に対する重み ：β
・マスク着用領域入力中間層に対する重み：１－β
実際の利用場面においては、中間特徴量融合層は、各中間層特徴量から出力された中間特徴量を重み付きで融合して、表情を推定します。これにより、顔露出領域とマスク着用領域を別々に分析しながら双方の相関関係も同時に考慮可能することで、マスクを着けている場合でも表情分析・推定処理の高精度化実現しています。評価実験では、インターネットで収集したマスクを着用した検証データセット（注3）を用いて、今回の表情認識AIと従来技術との比較実験を行った結果、表情認識精度は90%以上に達成し、従来技術（58%）を大幅に上回る精度が実現できることを確認しました。
【今後】
KDDI総合研究所では、顧客サービス向上や、事故防止、見守り、グループワークの活性化、人と機械の対話コミュニケーション、マーケティングなどの分野において早期の実用化を目指しています。また、今回の開発成果をスマートフォン向けのアプリや、IoTデバイス、ロボットなどに搭載し、多くのお客様にご利用いただくことを目指します。
■ KDDI総合研究所の取り組み
KDDIとKDDI総合研究所は、経済発展と社会的課題の解決を両立する持続可能な生活者中心の社会「Society 5.0」の実現を加速する、2030年を見据えた次世代社会構想「KDDI Accelerate 5.0」を策定しました。両社は、ネットワーク、プラットフォーム、ビジネスの3レイヤの環境整備を進めると共に、3つのレイヤを支える先端技術となる7つの分野のテクノロジーと、それらが密接に連携するオーケストレーション技術の研究開発を推進します。
今回の成果は7分野のテクノロジーの中の「AI」、「ロボティクス」に該当します。
（注1）KDDI総合研究所プレスリリース（2018年8月2日）アングルフリーな表情認識AI
（注2）顔表情を認識する場合、β＞(1－β)となる。例えば、顔露出領域からの顔表情認識にβ＝0.9の重みと、マスク着用領域からの顔表情推定に1－β＝0.1の重みが学習される
（注3）検証データセットには、男女各100名、合計500枚のマスク着用顔画像を含む。それぞれの顔画像に対して、ポジティブ・ニュートラル・ネガティブの三種類の教師ラベルを付与。
※ニュースリリースに記載された情報は、発表日現在のものです。 商品・サービスの料金、サービス内容・仕様、お問い合わせ先などの情報は予告なしに変更されることがありますので、あらかじめご了承ください。