近年は、AIの発達によって様々なテクノロジーが進歩しています。表情分析もその1つで、マーケティングや医療、人材教育など、すでに実用化されているケースも出てきました。今後、他のテクノロジーと掛け合わせることで、斬新なビジネスモデルやイノベーションを創出できるかもしれません。
本記事では、表情分析の仕組みや研究事例、現状の課題などをまとめました。
表情分析とは
表情分析とは、ヒトの表情をデータとして捉え、その変化を解析する技術です。基本的にはFACS（ファクス／顔面動作符号化システム）などの表情をパラメータ化するシステムと、データを解析するためのAIが活用されており、幅広い分野への展開が期待されています。
表情分析の技術が発達すると、ヒトとコンピュータ間のコミュニケーションがスムーズになることが予想されます。すでに実用化が進んでいる分野としては、ロボットや医療、教育、営業・マーケティングなどがあります。
本サイトを運営している株式会社シーエーシー（以下、CAC）も、表情分析の実用化を進めています。例えば、感情認識AI『Affdex（アフデックス）』を活用したアプリ『心sensor（こころセンサー）』では、動画やリアルタイム映像から10種類の感情や表情の豊かさなどを計測できます。
感情認識との違い
表情分析と感情認識は似た意味で使われますが、厳密には異なる部分があります。
感情認識とは、ヒトの表情や声、文章などの様々なデータから、対象者の感情を解析する仕組みです。活用分野によっては、心拍数や脳波などの生体データも解析の対象になります。
一方で、表情分析はあくまで顔の特徴や変化をパラメータ化する仕組みです。例えば表情から心身の異常を検知したり、複数の顔データが同一人物であるかを判定したりするような分野で活用されています。
表情分析の仕組み
一般的な表情分析は、アルゴリズムによって顔の特徴点を検出し、検出した特徴点の集合をカテゴリーに分類する方法で解析する仕組みになっています。顔の特徴点検出ではActive Shape Models（ASM）やActive Appearance Models（AAM）、カテゴリー分け以降のプロセスではディープラーニングなどのアルゴリズムが用いられます。
ポール・エクマン氏による表情分析の基本カテゴリーは「喜び・悲しみ・怒り・恐れ・驚き・嫌悪」の6つに分けられます。これらの基本カテゴリーを組み合わせることで、複雑な表情まで解析できる仕組みが構築されます。
なお、表情分析で得られたデータをさらに解析することで、前述の感情認識につながります。
国内外で研究される表情分析
表情分析は、すでに様々な研究事例があります。国内外でどのような研究が進められているのか、以下では代表的なものを紹介します。
ポール・エクマンのパプアニューギニア調査
前述した表情分析のカテゴリーは、米国の心理学者、ポール・エクマン氏が提唱したものです。
同氏は、他の文化と隔絶されているパプアニューギニアの部民族を対象に、異文化圏の人の表情を見せる実験を行いました。その結果、部民族が「喜び・悲しみ・怒り・恐れ・驚き・嫌悪」の表情を読み取ったことから、これらの表情が全人類にユニバーサル（普遍的）なものであり、基本的な感情であると提唱しました。
この理論が正しいと仮定した場合、表情分析の基本カテゴリーに属する表情は、国や文化、使っている言語、育った環境などに影響されないと考えられます。
顔の部位によって異なる表情への影響度に関する研究
京都光華女子大学と京都大学・人と社会の未来研究院（旧こころの未来研究センター）では、顔の上部と下部どちらが表情の認知に影響を与えるかを研究しています。上記と同じく6つの感情に分けて、顔の部位ごとの表情への影響度を分析し、以下のような研究結果が得られました。
顔の上部もしくは下部のみが特定の表情を示す顔刺激を用いて検討した結果、怒り・悲しみ・驚き表情では顔の上部の影響が強く、恐怖・喜び表情では下部の影響が強いことが認められ、表情によって影響の強い部位が異なることが示された。
引用：「表情認知における顔部位の相対的重要性／伊藤美加・吉川左紀子（93P）」
研究結果では、顔の上部は「怒り・悲しみ・驚き」、下部は「恐怖・喜び」が表情に対して影響が強いという結果が得られました。
表情分析の活用事例
表情分析とAIは、すでに多分野での活用、検証が進められています。代表的な分野としては、マーケティングや医療、教育、映像・アニメーションなどが挙げられます。具体的にどのような形で実用化されているのか、ここからは表情分析の活用事例を紹介します。
表情データから顧客ニーズを分析／マーケティング
表情分析AIが進歩すると、消費者や顧客の表情からニーズを読み取れる可能性があります。
実際に、動画視聴時の表情をパラメータ化し、AIによって感情認識をするようなサービスはすでに存在しています。このような仕組みを活用すれば、動画視聴者の表情分析によって、視聴者が動画コンテンツ内で興味を示した場面や、関心のある広告などを特定できるかもしれません。
ただし、参照できるサンプルやデータが少ないと、AIが判断を誤るリスクもあります。そのため、表情分析自体の精度を高めたり、他の情報（ユーザーレビューやアンケートデータなど）と組み合わせたりなどの工夫が必要になるでしょう。
参考：東急エージェンシー「Emotion Capture」（※現在はサービス終了）
病気やストレスの診断／医療・メンタルヘルス
医療・メンタルヘルスの分野では、心身の異常を表情分析で検知するような取り組みが進んでいます。
すでに実用化されている例としては、認知症患者などの痛みを判定するシステムがあります。また、表情に変化が見られる病気に対しては、表情分析による診断が有効と考えられます。例えば、パーキンソン病や筋萎縮性側索硬化症（ALS）などが挙げられます。
この他にも表情分析は心身の疲れを顔色から判断するなど、ストレス診断にも役立つ可能性があります。
参考：PainChek「Expansion into Home Care」
営業や接客におけるコミュニケーションの訓練／人材教育
表情分析は、社員の営業や接客におけるコミュニケーションの訓練にも活用できます。
例えば、好印象を与える口角や目の開き方などを助言するシステムは、対面でのトレーニングに役立ちます。セルフサービス型のシステムであれば、実際のトレーナーを頼んだり時間を合わせたりする必要もないため、人材教育の効率が上がることに加えて、教育コストも削減できるかもしれません。
具体的な事例としては、表情トレーニングアプリ『心sensor for Training』や、一人で面接対策ができるアプリ『カチメン！』があります。
学習状況や理解度の評価／教育
教育分野では、個々のレベルに合わせた学習支援を行うために、表情分析を活用する取り組みが進められています。
一般的に、授業についていけない生徒は、教師・講師の話を聞くときに悩んだ表情を浮かべます。特に理解度が低い場合は、うんざりしたり混乱したりすることもあります。このような表情を分析できると、一人ひとりの表情から授業の理解度を読み取って、より生徒が理解できる授業内容に変えることも可能になるでしょう。
すでにオンライン教育の分野では実用化が進められているため、将来的には学校や学習塾にも導入されるかもしれません。
参考：PR TIMES「AIカメラが表情を解析！講師と生徒の表情に出る感情を見える化」
キャラクターにリアルな表情を実装／映像・アニメーション
表情分析は、映画やゲーム、アニメーションなどの分野でも活用されています。
例えば、ヒトの表情データを映画のCGキャラクターに反映すると、自然かつリアルな表情を実装できます。他にも、登場人物の顔年齢や性別を変えるなど、映像分野では様々な活用方法が考えられるでしょう。
現在では、録音した音声データを解析し、キャラクターの表情を自動で出力するようなシステムも登場しています。
表情分析の現状と可能性
表情分析の研究は世界中で行われており、人の心理状態をより深く、細かい変化まで解析することを目指しています。例えば、FACSに使われているAU（Action Unit）を活用した研究が挙げられます。AUは解剖学的知見から生まれた考え方であり、顔の筋肉の動きをパラメータ化して、笑いや悲しみなどの表情をデータ化したものです。
＜AU（Action Unit）の例＞
AU1：内眉を上げる
AU4：眉を下げる
AU6：頬を上げる
AU10：上唇を上げる
AU12：口角を上げる
FACSではAUを44の動作単位に分け、各パラメータの組み合わせによって複雑な表情を再現します。この仕組みにより、小さな表情の変化も明確に定義できるため、より精度の高い表情分析ができるようになるかもしれません。
将来の実用化に向けて、実証実験・共同研究が行われている分野もあります。例えば、製造業では生産現場で働く従業員の表情からトラブルを察知したり、運送業ではドライバーの表情から集中度や眠気をチェックしたりなど、リアルタイムの解析が求められるシーンにも導入されることが考えられています。
表情分析の課題
表情分析の実用化は進んでいるものの、現状ではいくつかの課題も指摘されています。分野によっては社会的なモラルや文化の影響で、実用化が難しくなることも考えられます。実際にはどのような課題があるのか、以下では代表的なものを紹介します。
1.人種間や性差のバイアス
人種や性別、年齢などによって、顔や表情の特徴は異なります。この点を考慮しないと、AIの学習データにバイアスが生じて、解析結果の公平性が失われるかもしれません。
例えば、バイアスのある表情分析を年齢認証に活用すると、人によっては実年齢と推定年齢がかけ離れてしまう可能性があります。このようなバイアスを防ぐには、膨大なデータを収集・解析できる仕組みを作り、多様性を確保する必要があります。
特にヒトの判断が介在しないシステムでは、使用者・対象者に不公平を感じさせない仕組み作りが重要です。
2.プライバシーの侵害
表情分析を活用する場面によっては、個人のプライバシーが侵害される可能性もあります。
分かりやすい例としては、表情分析を利用した顔認識のシステムが挙げられます。表情分析の機能に限らず個人を特定できるようになると、複数の画像や動画を組み合わせて個人の属性情報（居住地や行動パターンなど）も推定できるようになります。
そのため、表情分析で収集したデータの取り扱い方や管理方法に注意しなければなりません。また、使用者や対象者が不安を感じないように、データ収集・解析の目的を明示することも重要です。
3.過剰な監視社会
表情分析AIが普及すると、一般市民は監視される機会が増えたと感じることが予想されます。過剰な監視社会を防ぐには、製品・サービスの提供者が倫理面に配慮する必要があります。活用する分野によっては、政府に対して法整備に向けた働きかけや、ガイドラインの策定なども求められるでしょう。
また、製品・サービスの利用者についても、プライバシーリスクに対しては問題意識を持つことが必要です。
表情分析とビジネスの組み合わせを考える
表情分析AIは、すでに実用化が進んでいる分野もあり、人々の生活や企業のビジネスモデルに徐々に組み込まれ始めています。バイアスやプライバシーなどの懸念はありますが、今後も世界中で実証実験が進んでいくと考えられます。最新の情報や研究結果をキャッチアップしながら、新しいビジネスモデルの構築や業務効率化のために表情分析AIの活用を検討してみてはいかがでしょうか。