Laboro.AI

Laboro.AIコラム

考えるな、感じろ。感情分析AIはアジャイルに

2021.11.22
マーケティング・ディレクター 和田 崇

概 要

“感情を理解することは、人間特有の能力だ。”人とのコミュニケーションを通して相手の感情を読み取ることを日常的に行っている私たちからすれば、そのように考えることが当然かもしれません。ですが近年、とくに表情解析を中心に、AIが人の感情を認識・推定する技術が登場し、さまざまな活用方法が模索されています。今回のコラムでは、そもそも感情とはなにか、そしてAIによる感情分析の種類や、具体的に活用が期待されている分野についてご紹介していきたいと思います。

目 次

「感情」とはなにか
意識感情と無意識感情
表情と感情
AIによる感情分析の種類
 ・表情からの感情分析
 ・音声からの感情分析
 ・文章からの感情分析
感情分析AIの活用
 ・人々の幸福度を測定する感情認識AIカメラ
 ・自動車乗員のリアルタイム感情分析
 ・表情解析による燃え尽き症候群の予測
 ・マーケティンングリサーチでの活用
考えるな、感じろ。アジャイルに

「感情」とはなにか

日本語では、人の気持ちや雰囲気を表す言葉として「感情」という一つの用語が用いられますが、感情と密接に関わる脳を研究する脳科学(ニューロサイエンス)では、人間が抱くこうした心理的感覚を、その強さや時間的な背景から大きく4つに分けて捉えられることが一般的です。

Feeling(気持ち)
:直前の体験に対して確認され、印象付けられる感覚。個人的なもので、伝記的なもの。

Emotion(情動)
:Feeling(気持ち)が投影されたもので、社会的であり、環境によって表現が変化することから、真実であることもあるし、見せかけの場合もある。

Mood(気分)
:長期的で、低度で、より長い時間(数分から数時間、場合によっては数日)に渡る反応。

Affect(感情)
:意識に先立つ、無意識的な感覚であり、完全に言葉で認識することができず、曖昧な感覚。比較的短時間のうちに起こる脳や自律神経系、および行動の協調的変化。

私たちが日常抱く「感情」というものには、瞬間的なものもあれば、長く継続されるものもあり、そして意識的で言葉で伝記的に表せるものもあれば、無意識の中で醸成され、文章化することが難しい曖昧な感覚も含まれていることがわかります。

【参考文献】
・Shouse, E.(2005)Feeling, Emotion, Affect., M/C Journal, 8(6), https://journal.media-culture.org.au/mcjournal/article/view/2443
・Davidson, R. J., Scherer, K. R., Goldsmith, H. H.. (Eds.)(2002) Hand book of affective sciences. New York: Oxford University Press.
・Cerf, M. Garcia-Garcia, M.編, 福島誠監訳(2019)『コンシューマーニューロサイエンス 神経科学に基づく消費者理解とマーケティングリサーチ』共立出版 p.73

意識感情と無意識感情

Feeling(気持ち)のような意識的に示される感情と、Affect(感情)のような無意識的に表れる感情とでは、どちらが私たちにとって、あるいはビジネス応用を考えるにあたってはより重要なのでしょうか。

近年注目されているのが、後者の無意識的な感情の存在です。少し古い実験ですが、「リベットの実験」という脳科学実験があります。脳科学研究者であるリベットがこの実験で証明したこと、それは、人が意識的に感情を抱くよりも早くに、脳が活性化しているということでした。

リベットが行った実験はとてもシンプルなもので、被験者は脳の反応を測定する機器を装着させられ、時計を見ながら好きなタイミングで手首を曲げることを依頼されます。合わせて「手首を曲げよう」と決めた時間を記録するよう指示されます。脳反応が起きた時間、「曲げよう」と意思決定した時間、実際に手首を曲げた時間、それぞれを測定した結果、被験者の脳は意思決定するよりも0.3秒ほど早い段階で反応を示していたことが明らかにされました。このリベットの実験を前例に、脳が人の感情よりも先に反応するという事象は、様々な研究で証明されています。

これらの実験結果からわかること、それは、脳をはじめとする私たちの身体に表れる生体反応は、感情の前触れであるということです。脳活動はもちろんのこと、脳と紐づいて反射的に表れる表情、発汗、体温、心拍といった身体の状態を解析することは、その後に起こるAffect(感情)を認識し、予測するためのヒントを得ることにつながっているのです。

【参考文献】
・Cerf, M. Garcia-Garcia, M.編, 福島誠監訳(2019)『コンシューマーニューロサイエンス 神経科学に基づく消費者理解とマーケティングリサーチ』共立出版 p.8
・居永正宏(2013)「心脳問題と人間的自由 : リベットの実験とデネットの解釈について」現代生命哲学研究, 2, pp.23-36
・Fried, I., Mukamel, R., Kreiman, G.(2011)Internally generated preactivation of single neurons in human medial frontal cortex predects volition. Neuron, 69(3), pp.548-562
・Cref, M. & Mackay, M.(2011)Studying consciousness using direct recordings from single neurons in the human brain, In S. Dehaene & R. Christen (Eds.), Characterizing consciousness: From cognition to the clinic? Research and perspectives in neurosciences, pp.133-146. Berlin: Springer-Verlag
・Perz, O., Mukamel, R., Tankus, A., Rosenblatt, J. D., Yeshurun, Y., & Fried, I.(2015)Preconscious prediction of a driver’s decision using intracranial recordings. Jounal of Cognitive Neuroscience, 27(8), pp.1492-1502

表情と感情

近年、AI技術の革新によって、「感情AI」「感情予測AI」「感情分析AI」などの分野もよく見られるようになってきました。先のように、人の感情を推定するためには様々な生体反応を解析の対象にできる可能性があるわけですが、とくに研究が進んでいるのが表情解析に基づく感情予測です。

AIによる表情解析・感情予測が特に進んでいる背景としては、やはり見た目としてわかりやすさ(検証のしやすさ)があり、古くから2つの表情解析に関する考え方が確立していたことが挙げられます。つまり、既存の表情解析の研究が、AI開発に転用しやすかったということです。

基本感情説

一つ目の考え方は、1971年にエクマンという研究者が提唱したことに始まる「基本感情説」と呼ばれるものです。基本感情説では、人の感情は、「驚き(surprise)」 「恐れ(fear)」 「嫌悪(disgust)」 「怒り(anger)」 「喜び(joy)」 「悲しみ(sadness)」「通常(neutral)」の7感情を基本とするという前提に立つもので、表情解析ではそれぞれの特徴に従って、それぞれの感情に分類することが目指されます。(※研究が行われた年代や研究者によって基本とする感情や名称に異なりはありますが、ベースとなる少数の感情を発見することを目指すという点では変わりはありません。)

基本感情説は、感情を説明する際によく引用される理論で、多くの感情AIモデルもこの理論に基づいており、認識された情報を7分類するというソリューションが主流になっています。

【参考文献】
・荒川歩・鈴木直人(2004)しぐさと感情の関係の探索的研究, 感情心理学研究, 10(2), pp.56-64
・Ekman, P.(1971)Universals and cultural differences in facial expressions of emotion. Nebraska Symposium on Motivation, 19, pp.207-283.
・ Ekman, P.(1992). An argument for basic emotions. Cognition and Emotions, 6, pp.169-200.

感情円環モデル

2つ目の考え方が、感情は少数の基本的な分類に集約されるものではないという基本感情説へのアンチテーゼとして登場した「感情円環モデル」です。1980年にラッセルという研究者を中心に発展させられてきたこのモデルでは、感情は、覚醒度を表す「Arousal(覚醒)–Sleep(沈静)」軸と、感情価を表す「Pleasure(快)–Unpleasure(不快)」軸の2つの軸の強弱によって決定され、1点にプロットされます。

私たちが日頃感じる感情の複雑さを考えると、円環モデルの方がより感情を認識・予測するためには適したモデルのように感じられます。ですが、表情を認識した上で、これらの強弱を数値的に定式化することはやはり難しく、感情円環モデルを用いたAIモデルやAIソリューションはほとんど見られないのが現状です。

【参考文献】
・Barrett, L. F., & Bliss-Moreau, E.(2009)Affect as a Psychological Primitive. Advances in Experimental Social Psychology, 41, pp.167-218.
・Barrett LF, Russell JA.(1999) Structure of current affect. Current Directions in Psychological Science., 8:10–14.
・Russell JA.(1980) A circumplex model of affect. Journal of Personality and Social Psychology.39:1161–1178.
・江川翔一・瀬島吉裕・佐藤洋一郎(2019)情動評価のためのラッセルの円環モデルに基づく感情重心推定手法の提案, 日本感性工学論文誌, 18(3), pp.187-193.

AIによる感情分析の種類

昨今、技術進化が著しいAIには、表情解析をはじめ、どのような感情分析の種類があり、どのような仕組みで成り立っているのでしょうか。

表情からの感情分析

上述の通り、AIによる表情解析では7程度の基本的な表情に分類するやり方が主流になっています。そのため、眉の位置、口角の変化、目や目頭の位置など、顔面に表れる各パーツの状態をカメラから認識し、各基本感情を表す表情との類似度を判定、分類するといった分析をしていくことになります。

表情研究は既存研究も多く、感情分析AIの中でも比較的やりやすい分野の一つです。ビジネス応用としては、マーケティングリサーチでの活用が代表的で、店頭で顧客が商品を手に取った瞬間の表情、あるいはTVCMやデジタルサイネージをを見た際の表情を認識・分析するといった活路が見込まれます。

音声からの感情分析

表情だけでなく、音声も感情を表す重要なデータの一つです。音声からの感情分析では、認識された音声を自然言語処理によって意味のある言葉として変換・分析することも考えられますが、声の大きさ、抑揚の変化、息の入れ方などの特徴を分析して感情を予測するといったアプローチも考えれます。

音声感情分析の応用という視点では、コールセンターなどの電話口での活用や、面接や接客時などあらゆるコミュニケーションシーンでの活用が見込まれます。一方で、音声特有の難しさとして挙げられるのが、「音源分離」の問題です。音声データを収集するにあたっては、人の声だけを正確に収集する必要がありますが、特に接客シーンなどでは、背後に雑音・騒音が入り込むことが少なくなく、目的とする音声を抽出することに難しさが生じます。音源分離については、こちらのコラムで詳しく紹介しています。

エンジニアコラム:声や音を聞き分ける、『音源分離』とは

文章からの感情分析

表情、音声に加えて、文章も感情が表れるデータの一つです。特に近年はインターネットやSNSの普及により、こうした文章データは取得がしやすくなってきたため、データ収集が比較的やりやすい分野であり、文章感情AIソリューションや自然言語処理を活用したAPIも多く登場しています。

しかし、文章感情分析は比較的やりやすい分野である一方、冒頭の話に基けば、心理学的・脳科学的には注意が必要な面もあります。それは、文章とは人が行動を起こした結果として作り出されるものであって、意識的な感情としての側面が強く、場合によっては社会的な目を気にして表現が歪めらたり、嘘の感情として表現されることも少なくないということです。世の中のSNSの投稿を思い浮かべればわかりやすいですが、宣伝目的の投稿、周りに迎合した文章、匿名だからこその歪んだ発言など、文章には感情以外の社会的要素が多く含まれるのが実際です。

確かに技術的には取り掛かりやすい感情分野ではあるものの、無意識的な反応として表れる表情や音声とは違い、その文章に含まれる文脈や背景などを読み取ることなくしては、真の意味での感情を捉えにくい分野だと言えます。

感情分析AIの活用

最後に、感情分析AIの活用例として、すでに実用化されているものから、将来的に実現されるであろう技術をいくつか紹介したいと思います。

人々の幸福度を測定する感情認識AIカメラ

アラブ首長国連邦のドバイで実際に実用化されているのが、カメラに写った人々の表情などから幸福度を測定し、さまざまなビジネスに活かすAIです。このシステムでは人々の幸福度を測定し、システムの利用側にその結果をフィードバックします。幸福度が低下すればアラートを出し、従業員の対応を改善するといった活用方法が見込まれています。

なお、表情解析では、保存された個人情報である表情データの扱いが問題になることが少なくありませんが、このシステムでは分析に使用した画像は保存されない仕組みが搭載されているとのことです。

出典:Gulf News「Are you happy: RTA starts measuring customers’ happiness level by using AI-cameras」

自動車乗員のリアルタイム感情分析

昨今、運転中の安全確保や自動運転技術の開発に役立てる目的などで開発されているのが、自動車乗員の感情をリアルタイムで分析するAIです。例えば、車内に設置しているカメラとマイクから映像と音声を取得し、双方を分析することで乗員の感情を分析するシステムが登場しています。

このシステムでは単に感情を分析するのではなく、眠気に関するサインについても分析し、アラートを鳴らすことも可能です。顔の角度から眠気を検出するようなシンプルなシステムに比べ、AIによって多角的に分析しているため、より実用性の高い眠気防止システムだと言えます。

また先日、デンソーがあおり運転防止のための感情認識AIの研究成果を報告するど、自動車の利用シーンにおける感情分析AIの活用が活況になっています。

出典:日経クロステック「感情認識AIで「あおり運転」防止など、30周年のデンソー先端技術研」

表情解析による燃え尽き症候群の予測

ストレス状況など心的状態を測定することも、感情分析AIの活用が見込まれる分野の一つです。これからの研究ではありますが、先日、筑波大学とテックウインドが発表したのが、表情解析に基づく燃え尽き症候群の予測に関する取り組みです。そのほか、うつ病やPTSD、認知症などに代表される気分障害や疾病の診断のサポートとして、AIを用いてその兆候を把握できるようになることは、今後、感情分析AIの活用が最も期待される分野の一つだと言えます。

しかし、こと医療現場は診療や医療判断のミスが許されません。そのため、不確実性の高いAI技術の応用は現実的に難しい側面も否定できず、現状、意思決定やそれに準ずる機能を持つAIが、医療現場に導入されているケースは非常に少ない状況だと言えます。

Laboroコラム:いのち守るためのAI。医療現場へのAI導入の壁

出典:日本経済新聞「テックウインド、筑波大とAI感情分析による燃え尽き症候群の予測に関する共同研究契約を締結」

マーケティング・リサーチでの活用

感情分析のビジネス応用が最も見込まれるのが、マーケティング・リサーチ分野です。TRIALのようなAI店舗や、b8taといった「売らない店舗」も昨今話題になっていますが、来店客が商品を手に取った際の状態を分析し、それに基づいて最適な広告を配信する、あるいはそれらの分析データを企業に販売、企業側はそれらのデータを次の商品開発にいかすなど、単にユーザーの状態を分析するに留まらない、多方面でのビジネス展開が行われています。

また、デジタルサイネージにAIカメラを搭載し、表情から広告の効果検証を行うといった例も登場し、広告やプロモーション分野でもより高い精度での広告配信が実現され、その基礎技術として感情分析AIが用いられるようになってきました。

一方、これらの分野でとくに活用される不特定多数の表情データには個人の肖像が含まれるため、その扱いに注意が必要です。個人情報にあたる表情データそのものをクラウドに保存することは危険性が高いため、例えばエッジカメラ側で画像を削除した上、処理されたデータのみをクラウド側に送信するなど、プライバシー保護をともなったシステム開発が求められる分野です。

Laboroコラム:答えのない、マーケティング×AIの世界への挑戦

考えるな、感じろ。アジャイルに

「考えるな、感じろ(Don’t think! Feel.)」 映画『燃えよドラゴン』でブルース・リーが発した名台詞ですが、私たち人間は、ロジカルに考えるだけでなく、感覚的あるいは本能的に何かを感じ取る能力を確かに持っているようです。人の感情とはまさにその一つであり、本来、ある人を「彼は喜んでいる」「彼女は悲しんでいる」と一義的に枠に当てはめることは不適切なことです。なぜなら、彼が感じている喜びの裏側には、それまでの経験としての楽しさもあれば、過去の記憶からくる悲しさもあり、それらが複雑に絡み合った結果として喜びが表現されているはずで、私たちはそうした彼の状態を考えることなく無意識のうちに感じ取っているからです。

こう考えると、少なくとも現在の感情分析AIは、あくまで人が考え、一義的に定めたルールに基づいて表面的に把握される状態を分類しているだけに過ぎず、人の歴史や経験、記憶といった文脈を無意識的に感じ取り、感情を読み取ることには遠く至ってはいませんし、今後しばらくはその領域に届くことは無さそうです。

しかし、だからと言って感情分析AIに意味がないということではありません。確かに、上記のような単に一義的な割り振りをするような”AI”の名が付いただけのツールでは役立たずかもしれませんが、感情という複雑な人の心理を扱うために、そもそも感情とは何か、活用シーンに応じてどのような状態を抽出したいのか、どのような判定結果が出るとビジネス的に成功と言えるのかを入念に検討し、そのためのAIモデルを、考えに考えて設計することが、感情分析AIをビジネス成果につなげていくための肝になります。

感情を分析・予測するということは、人であっても簡単なことではありません。そのためのAIモデルを開発するためには、考え、感じ、さらに考えることを繰り返し、アジャイルに開発を進めていく覚悟とパートナーが欠かせないのです。

カスタムAIの導入に関する
ご相談はこちらから

お名前(必須)
御社名(必須)
部署名(必須)
役職名(任意)
メールアドレス(必須)
電話番号(任意)
件名(必須)
本文(必須)