株式会社シーエーシー（以下、CAC）が提供する『DeepEmo』は、音声感情解析AIを活用して、3Dキャラクターの表情アニメーション制作を支援するサービスだ。
このサービスを牽引するのは、プロダクトオーナーである新規事業開発本部の中村星斗と、オランダ出身のデータサイエンティスト兼エンジニアのファン・デル・シュトルイク・ステフだ。
ステフは『DeepEmo』の根幹となる技術を作り上げた人物で、その技術は2022年に開発され、ファーストカスタマでの利用も成功裏に収めた。が、ステフは事情でやむなくプロジェクトを離れ、プロジェクトそのものも中断。『DeepEmo』は休眠状態となる。
しかし2024年、中村の主導のもと『DeepEmo』は再始動することになった。中村とステフがタッグを組み新たに進み始めた『DeepEmo』。ゲームと日本のコンテンツを愛する二人が生み出すケミストリーに迫る。
＞＞CAC、音声感情解析AI「Empath」を活用した3Dゲームの表情生成支援サービス「DeepEmo」を提供開始～ 表情アニメーターの工数の95％削減に寄与した技術をベースに ～
専修大学商学部グローバルマーケティング学科卒業後、2018年に CACに入社。2021年7月に地域活性化起業人制度を利用して長崎県雲仙市に移住。CACに勤めながら雲仙市役所におけるデジタル化推進や雲仙観光局で観光振興に取り組む。趣味は広く浅く、旅行、野球、スノボー、ハンドボール、アニメ、DIY、音楽、ゲーム。
＞＞中村星斗インタビュー 第1話『 DXで地方創生に挑んだ３年の日々。戸惑いながら歩んだ１年目の記録』
出身地はオランダ。5年以上の実務経験を持つフリーランスのデータサイエンティスト。情報科学と心理学の知識を併せ持つ。感情コンピューティング、Human-Computer Interaction （対話型システムのデザイン）、ITと教育、そしてソフトウェアやアプリケーションの開発に関心を持つ。なかでもコンピューターサイエンスと心理学の融合に関する研究に特に関心があり、ディープラーニングやデータ分析、Python, 認知心理学などのスキルを応用し新たなる開発に挑みたい。 GCP (Google Cloud Platform) に精通。オランダでAIを学び、京都大学を卒業。
——今回は『DeepEmo』のプロダクトオーナーとデータサイエンティストの対談です。
中村 実はステフさんのバックグラウンドについて知らないことが多くて。高校や大学はオランダにいたんですか？
ステフ そうです。高校でコンピューターサイエンスの授業があって、そこでプログラミングが好きになったんです。人間の行動についても興味があったので、その2つの知識をさらに深めるために、フローニンゲン大学でAIと心理学を学びました。卒業後に日本に来て、京都大学の情報工学研究科に入りました。そこではアバターの表情を生成する研究をしたのですが、その研究がちょうどこの『DeepEmo』にもつながっています。
中村 そうだったんですね。卒業後は日本企業の『Empath』に入ったわけですよね。
ステフ はい。『Empath』ではデータサイエンティストとして、AIを使って音声から感情を認識するシステムを開発しました。『Empath』と他の会社を含めて6年ほど、データサイエンティスト、データエンジニアとして働きました。
——もともと日本に興味があったんですか？
ステフ そうですね。アニメの影響で（笑）。
中村 そうだったんですね！
ステフ 子どもの頃からポケモンは身近にありましたが、当時はまだ日本への強い興味はなかったです。15歳くらいのときにNARUTO※を見てから興味を持つようになりましたね。
隣国のドイツ、ベルギーの文化には触れていたのですが、アジアや日本の文化に触れる機会はありませんでした。ネットでいろいろな情報を読んだのですが、どこまでが本当で、どこまでが作り話かもわからなくて（笑）。
大学時代に大阪大学への交換留学で、初めて日本に来たのですが、そのときが人生で一番楽しい時間でした（笑）。また日本に来たいと強く思ったことも覚えています。
中村 日本に興味を持ったきっかけはNARUTOだったんですね。
※NARUTO：週刊少年ジャンプ（集英社）にて1999年43号から2014年50号まで連載されていた少年漫画。忍者を目指す少年・うずまきナルトが主人公で世界的な人気を誇った。
――復帰と言ってもいいかもしれませんが、ステフさんはどういった経緯でこのプロジェクトに参加されたのでしょうか？
中村 2024年の秋、休眠状態だったプロジェクトを私が引き継いだときに、当時、Empath事業推進室長だった下地（貴明）さんからステフさんの存在を教えてもらい、手伝っていただきたいと思っていました。当時は別の日本の企業でデータサイエンティストをされていましたよね？
ステフ 『Empath』のあとに、デジタルマーケティングの会社でデータサイエンティストを担当していました。コンサルティング系の仕事だったのですが、個人的にはEmpathやDeepEmoのような
感情とコンピューターサイエンスを組み合わせるプロジェクトのほうが好きだったので、フリーランスとして戻ってきたという感じです。
＞＞下地貴明 Empath事業推進室 室長インタビュー 感情の自動判定で人と組織のコンディションを改善 人間同士のさらに深いコミュニケーションに迫る
――お互いの第一印象はいかがでしたか？
中村 データサイエンスと心理学という、普通の人からすると難しいと感じることを勉強されてきた方なので、サイエンティストというか、他の人を寄せ付けないエキスパートみたいなイメージを持っていました。実際はすごく話しやすく気さくな方で、コミュニケーションもしやすくてとても安心しました。
ステフ 中村さんは『DeepEmo』の技術や、私がどんなことをしてきたかなど、興味を持ってたくさん質問してくれました。ただの会話のためじゃなくて、深くまで知りたいという気持ちが伝わってきて、とてもうれしかったです。
中村 NARUTOが好きなのは知らなかったですけどね（笑）。
――仕事以外ではどのような会話をするのですか？
中村 まだ1回飲みにいったくらいなので。今日はこの後、旅行の話なんかを聞けたらいいなって思っています。あとはアニメとお酒も好きなので、これも共通点なのかな。
ステフ そうですね。共通の話題はたくさんありそうです。
中村 私はヨーロッパに行った経験がないんですよね。海外旅行でヨーロッパ方面というとトルコのイスタンブールに行ったくらいなので、ヨーロッパの話をステフさんに聞きたいですね。
ステフ オランダは小さな国なので、私は隣のドイツやベルギーにたくさん行きました。オランダの夏は海に入りたくなるほど暑くはならないので、フランスのビーチに行くオランダ人は多いです。私も車でフランスに行ったことがあります。
中村 フランスまで車なんですね。すごいなあ、何時間かかるんだろう？
ステフ 12時間くらい？
中村 それ、日本だったら東京から福岡まで行けちゃうんじゃないですか！？ 私だったらやらないな（笑）。日本でもドライブするんですか？
ステフ 京都大学時代は寮の友だちと和歌山とか、鳥取とかに車で行きました。オランダから家族が来たときは、京都から仙台、東京とロードトリップをしましたね。
中村 行動範囲がすごい（笑）。
――中村さんがオランダ旅行をするときに、絶対に行ってほしい場所はありますか？
ステフ アムステルダムには行くと思うので、それ以外だと私のおすすめはユトレヒトですね。アムステルダムから電車でたった1時間です。運河に合わせて街が作られていて、運河のそばにカフェがたくさんあるんです。そこでコーヒーとかビールとかを飲むのがおすすめです。
中村 それはすごい。めっちゃいいですね！
ステフ アムステルダムはインターナショナルな都市で、観光客が多いです。ユトレヒトはまさにオランダっていう感じで、ぜひ体験してみてほしいです。
オランダのユトレヒトを流れる運河
中村 なるほど、オランダの文化に触れるならユトレヒトですね。オランダ料理のおすすめはありますか？
ステフ 食べてみたいという気持ちはうれしいんですけど、そんなにないんですよね（笑）。ヨーロッパ中から各国の料理が自然に入ってくるので。
――お2人にはゲームという共通点もあると思います。
ステフ 昔からずっと好きですね。いろいろなジャンルが好きで、例えばリアルタイムストラテジー※の『コマンド&コンカー』は何時間もプレイしていました。私の家は任天堂系の家でしたので……。
※リアルタイムストラテジー（Real Time Strategy）：ゲームのジャンルの一つ。リアルタイムで戦略を立てて操作しながら進行するゲームのこと。
中村 待ってください、任天堂系の家という言葉があるんですね（笑）。
ステフ そう、あるんですよ！ 私の家にはソニーのプレイステーションはなくて（笑）。任天堂の『大乱闘スマッシュブラザーズ』は兄弟と一緒にたくさん遊びましたね。
中村 リアルタイムストラテジーは、日本で言うと信長の野望シリーズが近いのかな。
ステフ 若いときはたくさん時間があったのでMMORPG、もう少し大人になってからは日本のRPGもやりました。『ゼノブレイド』が印象に残っています。大学生のときは『リーグ・オブ・レジェンド※』をひたすらやっていましたね。最近は時間の問題もあるし、ビジュアルノベル、ピクセルグラフィック、インディゲームなど新しいコンセプトを経験できるようなゲームをやっています。
中村 『リーグ・オブ・レジェンド』はやばいですよね。
ステフ やばいですね、時間が（笑）。
※リーグ・オブ・レジェンド：ライアットゲームズ（米国）が開発・運営する基本プレイが無料のオンライン対戦ゲーム。世界中で非常に人気がありeスポーツの代表的なゲームとなっている。
中村 『リーグ・オブ・レジェンド』の仕組みをポケモンに持ってきた『ポケモンユナイト』というゲームにハマってしまって。このスタイルはすごくおもしろいんですけど……。
ステフ 両方の意味でやばいですね（笑）。おもしろいという意味と、時間が過ぎていくという意味と。たまにアンインストールしないといけないってなります（笑）。
中村 私もアンインストールしました（笑）。ステフさん、インディゲームもやられるんですね。 今度東京でインディゲームの展示会が行われるので、そこに行ってみようと思っているんですよ。
ステフ 面白そうですね！ 後で詳しい情報を教えてください（笑）。
中村 もちろん！ そこでゲーム開発者やメディアの人とコミュニケーションを取れるので、『DeepEmo』の話もしようかなと。
ステフ それはもう仕事ですね。中村さんはマジメです。
中村 半分仕事、半分はプライベートですよ（笑）。
ステフ 中村さんはどういったゲームが好きなんですか？
中村 『モンスターハンター』シリーズとか、『Apex Legends』とかをやっています。アクションやシューティングが多くて、RPGはあまりやってこなかったんです。今、改めて『ファイナルファンタジー7』のリメイクシリーズを買って遊んでいます。
——ゲームから『DeepEmo』や仕事への影響を受けている部分はありますか？
ステフ 私は強い影響を受けています。そもそも、コンピューターサイエンスに興味を持ったのもゲームが始まりでしたから。また、MMORPGを遊んでいて、キャラクターとのインタラクションがもっとナチュラルにならないかな、と思ったことがあって。アバターの表情をより人間っぽく作りたい、というモチベーションもゲームでの体験から来ています。
中村 キャラクターとのインタラクションを改善したいって、それはもう作る側の視点ですよね。私はゲームが与えるインパクトの大きさが、モチベーションにつながっています。
海外に出たときに、日本のゲームやアニメなどのコンテンツでコミュニケーションが生まれるんですよ。ゲーム開発者の方は、そうやって世界の人々に影響を与えるものを作っている、私たちは、その裏側でコンテンツ制作を支えていることがモチベーションになっています。
——逆にゲームが好きすぎて困ったことはありますか？
中村 遊びすぎてしまうことですね。だからたまにアンインストールするんですけど（笑）。
ステフ 寝不足ですね。特に『リーグ・オブ・レジェンド』では、「これで最後」と決めた対戦で負けたら、絶対に「もう1回！」ってなりますもんね。それで、次の日になって「なんでこんなことをしたんだろう」ってなる（笑）。
中村 勝つまでやめられない、勝って気持ちよくなって寝る、っていうのはあるあるですよね（笑）。
——改めて『DeepEmo』の話に戻りたいと思います。これまでのプロジェクトで大変だったことはありますか？
ステフ 今でこそ、意味のあるアウトプットを出せていますが、最初に相談されたときは「どうしよう」という感じでした（笑）。解析した感情から表情ができるだけでは意味がなくて、自然にアニメートされる必要があります。どのポイントで、どの感情が、どの強度で表情としてアウトプットされるか。どうすれば自然なアウトプットができるかいろいろ試したのが大変でした。結果的にうまくいって良かったです。
中村 細かく表情を出しすぎると、短時間で表情が変わるヘンテコなアニメーションになってしまうんです。解析するフラグメントを長くするのか、短くするのか、その適切なところを探すのが大変だったのだろうと思います。現在は0.32秒ですが、例えば0.32649秒ではどうなるかというふうに、いくつものパターンを検討していましたよね。
——お互いに助けられた瞬間はありましたか？
中村 いやもう全部です（笑）。
ステフ 私もです。やはり、日本語能力がまだ足りない部分がありますから……。
中村 ちょっと待ってください！ そんなことないですよ（笑）。
ステフ いま（このインタビューのこと）はうまくやっていますけど（笑）。例えば技術的な説明しなきゃいけないとき、細かいところで相手に伝わらないことがあるんです。中村さんはたくさん私の話を聞いてくださって、『DeepEmo』のことも、私の言いたいこともわかってくれています。私の話が伝わらなかったときに、中村さんがうまく説明してくれるので、本当に助かっています。
中村 実は、わかっているふうの感じを出しているだけのこともあります（笑）。
――達成感があった瞬間を教えてください。
ステフ 『DeepEmo』は特定のゲームのために作られた技術でした。頑張って作って、私の技術で95%の開発時間をセーブできたということで、期待以上の結果を出すことができました。エンドクレジットに私たちの名前が出たのもうれしかったです。開発中は周りに言えなかったのですが、リリース後は「これ私だよ、頑張って作ったよ」ってみんなに言いました（笑）。
中村 オランダの友だちにも自慢できますね。
ステフ しましたしました。あとは弟がゲームのデザイナーをしていて、そういう世界にいる人に自慢できたのもうれしかったです。自己満足ですけど（笑）。
——今後はどういった機能を追加していきたいですか？
中村 ゲーム会社によっては、今出している9種類とは違う感情を解析したいとか、7種類とか12種類で解析をしたいという要望があるかもしれないです。
ステフ 感情の種類というのは、まだ研究者も議論している段階ですからね。当初は、ロバート・プルチック※の理論に合わせたいというクライアント要望で9種類にしたんです。会社ごとのイメージや指標があるでしょうから、それに合わせる必要はあると思います。
中村 ゲーム開発者と話していると、ほとんどの人がプルチックを参考にしているみたいですね。あとよく言われるのはリアルタイム。『DeepEmo』に限らず、リアルタイムで感情を解析したいというニーズはすごく多かったです。すでに先行している企業はあるんですけど、まだ精度が良くなかったり、解析できる種類も少なかったりするみたいで。技術的に難易度は高いですが、個人的な興味はあります。
※ロバート・プルチック（Robert Plutchik、1927年10月21日〜2006年4月29日）：アメリカの心理学者。感情の輪（Wheel of Emotions）と呼ばれる感情理論を提唱。
——『DeepEmo』が今後どのように使われてほしいですか？
ステフ まだ一つのゲームにしか使われていないので、小さいゲームでも大きいゲームでも、もっと使われればすごくうれしいです。おそらく、NPC※の多いゲームが一番合っているのかなと思います。RPGをたくさん作っている会社で、「『DeepEmo』が必要だ」と思ってもらえるようになれば、それはすごくうれしいことなんじゃないかと思います。
中村 そうですね。今は開発者の方に知ってもらう段階ですが、「表情アニメーションと言えば『DeepEmo』だよね」って言ってもらえるようにしていきたいです。
※NPC：ノンプレイヤーキャラクター（Non Player Character）の略。プレイヤーが操作しないゲーム内のキャラクターのこと。
クリックして詳細を確認する
関連記事
・感情認識AIが世界を変える 様々な分野での活用事例を紹介
・世界90ヵ国以上のデータを活用 リアルタイムで感情を分析するAI技術とは
・感情認識AIが世界を変える 様々な分野での活用事例を紹介
・音声から3Dキャラクターに命を吹き込む『DeepEmo』原動力は”コンテンツ愛”と“納得感”
