顔面動作符号化システム（FACS）とは？　表情分析の仕組みと活用事例を紹介

(画像=volga/stock.adobe.com)

顔面動作符号化システム（FACS／ファクス）は、表情分析や感情分析などに活用されている理論です。近年ではAIとの組み合わせによって、多分野での実用化が進められています。

本記事では、顔面動作符号化システムの概要や研究、活用されている分野について解説します。基本的な仕組みを理解して、イノベーション創出やビジネスモデル構築の可能性を探ってみましょう。

顔面動作符号化システム（FACS）とは

顔面動作符号化システムとは、顔の筋肉の動きを計測し、データとして表示または分析するための仕組みです。英語ではFACS（Facial Action Coding System）と表され、システムの基礎となる表情理論を指すこともあります。

顔面動作符号化システムが誕生したのは1978年で、米国の心理学者であるポール・エクマン氏と、カリフォルニア大学の教授であるウォーレス・フリーゼン氏によって理論が開発されました。現在では心理学をはじめ、ロボット工学やアニメーションなどの分野で活用されています。

顔面動作符号化システムの活用事例

本サイトを運営する株式会社シーエーシーはAffectiva社が開発した、顔面動作符号化システムとAIを組み合わせた「Affdex」の正規代理店として実用的なアプリを開発・販売をしています。

面接対策アプリの『カチメン！』では、ユーザーの表情や声から受ける印象をAIが解析し、そのデータをもとにAIや専門家が具体的な面接対策のアドバイスをしてくれます。場所を問わず、一人でも採用面接や選考動画作成のトレーニングができます。

>>面接対策専用アプリ「カチメン！」プロダクト紹介サイト

また、動画やリアルタイム映像の感情認識ができる『心sensor（こころセンサー）』も、顔面動作符号化システムの理論に基づいた感情認識アプリです。営業要員が表情トレーニングで使う『心sensor for Training』や、Web会議のコミュニケーションを円滑化する『心sensor for Communication』といったカスタマイズされたアプリもあります。

顔面動作符号化システムの仕組み

顔面動作符号化システムの理論では、主に解剖学の知見から表情筋の動きを「AU（Action Unit）」と呼ばれる単位に分解します。AUは44個の動作に分けられており、それぞれ1つ以上の表情筋に対応しています。

＜AU（Action Unit）の例＞
AU1：眉の内側を上げる
AU2：眉の外側を上げる
AU4：眉を下げる
AU5：上瞼を上げる
AU6：頬を持ち上げる

顔の動きをAUで示したものは表情パラメータと呼ばれており、このデータとAIなどの最新技術を組み合わせると、個人の表情・感情を分析できるようになります。なお、顔面動作符号化システムはあくまで表情認識の理論なので、個人を特定するものではありません。

顔面動作符号化システムの実験例

前述の通り、顔面動作符号化システムを活用した製品はすでに開発されています。今後も活用される分野が広がることが予想されますが、現状ではどれくらい進捗しているのでしょうか。

以下では、国内で進められている顔面動作符号化システムの実験を紹介します。

時間経過による顔の変化の研究

1つ目の例は、2021年6月にレポートが公表された早稲田大学での実験です。人間科学学術院の非常勤講師である菅原徹氏は、美容・健康・サービス分野などへの活用を見越して、FACSによる顔の魅力分析を行いました。

本研究では十数名のモニターを集め、主に時間経過による顔の変化が調査されています。
顔の特徴情報を時間変化の観点で分類し、3つの実験を通じて美容,健康,サービス産業で活用できる,顔の魅力分析について解説した.実験Iでは,感情と表情の持続がその後の真顔や笑顔に影響することを,FACSをもとにした表情分析ツール（フェイスリーダー）により明らかにした.日常のネガティブやポジティブな感情癖が顔立ちを変えてしまう可能性が示唆された.実験IIでは顔の幾何学的な特徴である眼裂の針状度を用いて開眼度を産出し,朝と夜の差異を明らかにした.朝より夜の開眼度が高い傾向にあったことから,上眼瞼挙筋は筋疲労に比べて覚醒度の影響を受けることがわかった.朝起きてからの表情筋運動が開眼度を上げ,好印象の目元をつくることにつながるだろう.
引用：J-Stage「顔の特徴情報を用いた表情と魅力の分析／菅原徹（11P）」

上記の研究結果は、顔の魅力を高めるメイクアップや、好印象を与える表情作りなどに活かせるかもしれません。また、時間経過による表情の変化から心理状態を読み取れるような技術は、メンタルヘルスや教育分野などに活かせる可能性があります。

学習中の眠気検出における有効性の研究

表情と頭の動きを分析して、eラーニングを行っている人の眠気度合いを推定する研究が進められています。大阪大学と富士通研究所の人が共同で研究を行い、以下のような結果が得られています。

本研究では,オンライン学習中の学習者の顔表情と頭部の動作の眠気検出における有効性を検討した.その結果,AUsと頭部開店角度および開眼度合いを特徴量とし、LSTMを用いた２段階分類での平均ｆ1-macroスコアが0.77と最も有効であることが分かった.
引用：情報処理学会「顔表情および頭部動作に基づくeラーニング時の覚醒度推定／寺井省吾・川村亮介・白井詩沙香・アリザデメラサ・武村紀子・浦西知樹・長原一・竹村治雄（422P）」

顔面動作符号化システムをもとに表情を分類し、人の覚醒度を時間経過ごとに確認するために時系列データを学習できるLSTM（Long Short-Term Memory）が活用されました。

今回はeラーニングを用いた特定の状況下での研究でした。分析の精度が向上することで、教育分野以外でも貢献できるかもしれません。

顔面動作符号化システムが活用されている分野

顔面動作符号化システムは、IT分野以外でも活用が期待されています。活用分野が多岐にわたっており、斬新なビジネスモデルが生み出される可能性もあります。どのようなビジネスに貢献する可能性があるのか、以下では現時点で活用されている分野を中心に紹介します。

ロボット分野

ロボット分野では、主にヒトとのコミュニケーションを円滑にする目的で顔面動作符号化システムの研究が行われています。

分かりやすい例としては、ヒトの表情から心身の異常を感知できる仕組みがあります。顔色から疲れ具合や体調不良を判断できれば、的確かつ充実した医療サポートをロボットが提供できるようになるかもしれません。

また、アンドロイドロボットの実用性を高めるために、自然な表情を表現させるような取り組みも進められています。

心理学分野

表情から心身の状態を解析する仕組みは、心理学の分野でも研究が進められています。例えば、ヒトの繕った表情をAIが判断できるようになると、精神病の兆候をすばやく察知できるようになるかもしれません。

前述した『カチメン！』や『心sensor』でも心理学の考え方が利用されています。

映像・アニメーション分野

映像・アニメーション分野では、CGやキャラクターにリアルな表情をさせる技術が研究されています。代表的な仕組みとしては、ヒトの自然な表情をパラメータ化し、CGなどにそのデータを適用する方法があります。

また、映画などの実写映像では、キャラクターが年齢を重ねたときの表情変化も表現できるようになってきています。このような技術が確立されれば、特殊メイクにかかる時間やコストを削減しつつ、よりリアルな映像を製作できると考えられます。

食品分野

顔面動作符号化システムの活用によって、消費者の表情から食べ物の好き嫌いなどを判断できる可能性があります。以下の論文では、食品開発などに感情分析の導入を目指す研究について記載があります。

1.表情情報で各感性を把握できる可能性が示された.
2.AU出現割合より,顔部品毎の重要度や傾向が判明した.
3.設計／開発／評価に重要と思われる正の感性,負の感性,リラックス,興味有に関連のあるAUが判明し、注目点・エリアを特定できた.
引用：J-Stage「食・環境分野への応用を目的とした表情解析／佐々木豊・田島淳・鈴木正肚・望月強志・尾張美紀子（410P）」

このような技術が確立されると、モニターの反応を見ながら食品の設計ができるため、消費者のニーズに合わせた開発体制を整えられます。

また、国内では消費者の表情から読み取った気分に合わせて、提案する商品を変えるような取り組みも見られます。

動物分野

顔面動作符号化システムは、イヌやネコ、サルなどの表情を解析する技術としても研究されています。

顔の特徴点がはっきりしている動物の表情は、ヒトと似たプロセスで解析できる可能性があります。収集したデータを解析すれば、動物の気分や感情も把握できるようになるかもしれません。例としては、ペットの気分を画像データから解析できる感情翻訳アプリや、心身の異常を検知するようなシステムが挙げられます。

顔面動作符号化システムをビジネスに取り入れる方法

顔面動作符号化システムをビジネスに取り入れるには、事業モデルや事業領域にあわせたデータと、技術に精通した人材が必要です。大きな開発コストがかかる可能性もあるので、特に実用度の調査は徹底する必要があるでしょう。

ここからは事業化するための準備について、ポイントを2つ解説します。

1.対象分野の研究内容や実用度を調査する

顔面動作符号化システムの実用化は、全ての分野で進んでいるわけではありません。現時点では研究段階の分野もあるため、最新の研究やデータを確認した上で、ビジネスで活用できるかを調査することが必要です。

特に自社での研究開発が必要になる場合は、コスト面や人材面で大きなリソースが必須になると考えられます。採算の取れるビジネスモデルを構築するために、実用度の判断は慎重に行いましょう。

2.FACSコーダーの有資格者を探す

顔面動作符号化システムは専門分野であるため、精通した人材の獲得が必要になります。

国際的な資格である「認定FACSコーダー」の取得者は、専門知識を持っています。国内の有資格者は少ない可能性があるため、彼らとのつながりを得るために識者のセミナーや講演会に参加することは1つの選択肢になるでしょう。

前述で紹介した『カチメン！』では、認定FACSコーダーなどの微表情読解に関わる各種資格を取得している清水建二氏にシステムやアルゴリズムを監修してもらっています。