考えるな、感じろ。感情分析AIはアジャイルに
2021.11.22公開 2023.4.17更新
株式会社Laboro.AI マーケティング・ディレクター 和田 崇
概 要
感情を理解することは、人間特有の能力だ−−。人とのコミュニケーションを通して相手の感情を読み取ることを日常的に行っている私たちからすれば、そのように考えることが当然かもしれません。ですが近年、特に表情解析を中心に、AIが人の感情を認識・推定する技術が登場し、さまざまな活用方法が模索されています。そもそも感情とは何か、そしてAIによる感情分析の種類や、具体的に活用が期待されている分野について解説します。
目 次
・感情とは何か
・意識感情と無意識感情
・表情と感情
・基本感情説
・感情円環モデル
・感情を認識・分析できるAI
・AIによる感情分析の種類
・表情からの感情分析
・音声からの感情分析
・文章からの感情分析
・感情分析AIの市場はまだまだ広がる
・感情分析AIの活用
・人々の幸福度を測定する感情認識AIカメラ
・自動車乗員のリアルタイム感情分析
・表情解析による燃え尽き症候群の予測
・マーケティンングリサーチでの活用
・テキスト内容から感情を分析
・感情分析AIを「デジタルパートナー」に
・感情分析AIの課題点
・考えるな、感じろ。アジャイルに
感情とは何か
日本語では、人の気持ちや雰囲気を表す言葉として「感情」という一つの用語が用いられます。しかし感情と密接に関わる脳を研究する脳科学（ニューロサイエンス）では、人間が抱くこうした心理的感覚を、その強さや時間的な背景から大きく四つに分けて捉えられることが一般的です。
Feeling（気持ち）
：直前の体験に対して確認され、印象付けられる感覚。個人的。
Emotion（情動）
：Feeling（気持ち）が投影されたもので、社会的であり、環境によって表現が変化することから、真実であることもあるし、見せかけの場合もある。
Mood（気分）
：長期的で、低度で、より長い時間（数分から数時間、場合によっては数日）にわたる反応。
Affect（感情）
：意識に先立つ、無意識的な感覚であり、完全に言葉で認識することができず、曖昧な感覚。比較的短時間のうちに起こる脳や自律神経系、および行動の協調的変化。
私たちが感情という言葉に日常抱くイメージには、瞬間的なものも長く継続するものもあり、さらには意識的で言葉で表せるものもあれば、無意識の中で醸成され、文章化することが難しい曖昧な感覚も含まれていることが分かります。
【参考文献】
・Shouse, E.（2005）Feeling, Emotion, Affect., M/C Journal, 8(6), https://journal.media-culture.org.au/mcjournal/article/view/2443
・Davidson, R. J., Scherer, K. R., Goldsmith, H. H.. (Eds.)（2002） Hand book of affective sciences. New York: Oxford University Press.
・Cerf, M. Garcia-Garcia, M.編, 福島誠監訳（2019）『コンシューマーニューロサイエンス 神経科学に基づく消費者理解とマーケティングリサーチ』共立出版 p.73
意識感情と無意識感情
Feeling（気持ち）のような意識的に示される感情と、Affect（感情）のような無意識的に表れる感情とでは、どちらが私たちにとって、あるいはビジネスではより重要なのでしょうか。
近年注目されているのが、後者の無意識的な感情の存在です。少し古い実験ですが、「リベットの実験」という脳科学実験があります。脳科学研究者であるリベットがこの実験で証明したのは、人が意識的に感情を抱くよりも早く、脳が活性化していることでした。
リベットが行った実験は以下のようにとてもシンプルでした。被験者は脳の反応を測定する機器を装着させられ、時計を見ながら好きなタイミングで手首を曲げることと、「手首を曲げよう」と決めた時間を記録するよう指示されました。脳反応が起きた時間、「曲げよう」と意思決定した時間、実際に手首を曲げた時間のそれぞれを測定した結果、被験者の脳は意思決定するよりも0.3秒ほど早い段階で反応を示していたことが明らかにされました。脳が人の感情よりも先に反応するという事象は、このリベットの実験を先鞭としてさまざまな研究で証明されています。
脳が人の感情よりも先に反応することからは、脳をはじめとする私たちの身体に表れる生体反応は感情の前触れであるとも言えます。脳活動はもちろんのこと、脳と紐付いて反射的に表れる表情、発汗、体温、心拍といった身体の状態を解析することは、その後に起こるAffect（感情）を認識し、予測するためのヒントを得ることにつながっているのです。
【参考文献】
・Cerf, M. Garcia-Garcia, M.編, 福島誠監訳（2019）『コンシューマーニューロサイエンス 神経科学に基づく消費者理解とマーケティングリサーチ』共立出版 p.8
・居永正宏（2013）「心脳問題と人間的自由 : リベットの実験とデネットの解釈について」現代生命哲学研究, 2, pp.23-36
・Fried, I., Mukamel, R., Kreiman, G.（2011）Internally generated preactivation of single neurons in human medial frontal cortex predicts volition. Neuron, 69(3), pp.548-562
・Cref, M. & Mackay, M.（2011）Studying consciousness using direct recordings from single neurons in the human brain, In S. Dehaene & R. Christen (Eds.), Characterizing consciousness: From cognition to the clinic? Research and perspectives in neurosciences, pp.133-146. Berlin: Springer-Verlag
・Perz, O., Mukamel, R., Tankus, A., Rosenblatt, J. D., Yeshurun, Y., & Fried, I.（2015）Preconscious prediction of a driver’s decision using intracranial recordings. Jounal of Cognitive Neuroscience, 27(8), pp.1492-1502
表情と感情
近年、AI技術の革新によって、「感情AI」「感情予測AI」「感情分析AI」などの分野もよく見られるようになってきました。先述のように、人の感情を推定するためにはさまざまな生体反応を解析の対象にできる可能性がありますが、特に研究が進んでいるのが表情解析に基づく感情予測です。
AIによる表情解析・感情予測が特に進んでいる背景には、やはり見た目として分かりやすさ（検証のしやすさ）があり、古くから二つの表情解析に関する考え方が確立していたことがありました。つまり、既存の表情解析の研究がAI開発に転用しやすかったということです。
基本感情説
一つ目の考え方は、1971年にエクマンという研究者が提唱したことに始まる「基本感情説」と呼ばれるものです。基本感情説では、人の感情は、「驚き（surprise）」 「恐れ（fear）」 「嫌悪（disgust）」 「怒り（anger）」 「喜び（joy）」 「悲しみ（sadness）」「通常（neutral）」の７感情を基本とするという前提に立つもので、表情解析ではそれぞれの特徴に従って、それぞれの感情に分類することが目指されます。（※研究が行われた年代や研究者によって基本とする感情や名称に異なりはありますが、ベースとなる少数の感情を発見することを目指すという点では変わりはありません。）
基本感情説は、感情を説明する際によく引用される理論で、多くの感情AIモデルもこの理論に基づいており、認識された情報を７分類するというソリューションが主流になっています。
【参考文献】
・荒川歩・鈴木直人（2004）しぐさと感情の関係の探索的研究, 感情心理学研究, 10(2), pp.56-64
・Ekman, P.（1971）Universals and cultural differences in facial expressions of emotion. Nebraska Symposium on Motivation, 19, pp.207-283.
・ Ekman, P.(1992). An argument for basic emotions. Cognition and Emotions, 6, pp.169-200.
感情円環モデル
二つ目の考え方が、感情は少数の基本的な分類に集約されるものではないという基本感情説へのアンチテーゼとして登場した「感情円環モデル」です。1980年にラッセルという研究者を中心に発展させられてきたこのモデルでは、感情は、覚醒度を表す「Arousal（覚醒）–Sleep（沈静）」軸と、感情価を表す「Pleasure（快）–Unpleasure（不快）」軸の二つの軸の強弱によって決定され、１点にプロットされます。
私たちが日頃感じる感情の複雑さを考えると、円環モデルの方がより感情を認識・予測するためには適したモデルのように感じられます。ですが、表情を認識した上で、これらの強弱を数値的に定式化することはやはり難しく、感情円環モデルを用いたAIモデルやAIソリューションはほとんど見られないのが現状です。
【参考文献】
・Barrett, L. F., & Bliss-Moreau, E.（2009）Affect as a Psychological Primitive. Advances in Experimental Social Psychology, 41, pp.167-218.
・Barrett LF, Russell JA.（1999） Structure of current affect. Current Directions in Psychological Science., 8:10–14.
・Russell JA.（1980） A circumplex model of affect. Journal of Personality and Social Psychology.39:1161–1178.
・江川翔一・瀬島吉裕・佐藤洋一郎（2019）情動評価のためのラッセルの円環モデルに基づく感情重心推定手法の提案, 日本感性工学論文誌, 18(3), pp.187-193.
感情を認識・分析できるAI
人間の表情などの情報から感情を認識、分析するAIが「感情分析AI」と呼ばれていて、研究開発が進んでいます。特に、顔や声など、人が外部に表出させている情報を分類して感情を分析する方法はすでにかなり発達し、定着しつつあります。例えば、自動車ドライバーの顔の情報を使って事故防止につなげたり、お客さんの表情を分析して接客力の向上につなげたりする研究がなされています。感情分析のアルゴリズムは、顧客満足度の向上やクレームを可視化する目的でコールセンターに導入されるなど、多くの企業で使われています。
新しい潮流としてあるのは、声や表情だけでなくSNSでの発言や「いいね」などのリアクションのパターンも、感情的な反応として捉えて分析することです。また、最近では単一のデータではなく、いろいろなデータを結び付けることで分析の精度を上げていく「マルチモーダル」という試みもあります。顔の画像と声の情報、発話の内容のテキスト情報などを組み合わせて、より高度な判断のできるAIの開発を目指しているのです。
出典：産総研マガジン「AIと感情」
AIによる感情分析の種類
昨今、技術進化が著しいAIには、表情解析をはじめ、どのような感情分析の種類があり、どのような仕組みで成り立っているのでしょうか。
表情からの感情分析
先述の通り、AIによる表情解析では７程度の基本的な表情に分類する方法が主流になっています。そのため、眉の位置、口角の変化、目や目頭の位置など、顔面に表れる各パーツの状態をカメラから認識し、各基本感情を表す表情との類似度を判定、分類するといった分析をしていくことになります。
表情研究は既存研究も多く、感情分析AIの中でも比較的取り組みやすい分野の一つです。ビジネス応用としては、マーケティングリサーチでの活用が代表的で、店頭で顧客が商品を手に取った瞬間の表情、あるいはテレビコマーシャルやデジタルサイネージをを見た際の表情を認識・分析するといった活用法が見込まれます。
音声からの感情分析
表情だけでなく、音声も感情を表す重要なデータの一つです。音声からの感情分析では、認識された音声を自然言語処理によって意味のある言葉として変換・分析することも考えられますが、声の大きさ、抑揚の変化、息の入れ方などの特徴を分析して感情を予測するといったアプローチも考えられます。
音声感情分析の応用という視点では、コールセンターなどの電話口での活用や、面接や接客時などあらゆるコミュニケーションシーンでの活用が見込まれます。一方で、音声特有の難しさとして挙げられるのが、「音源分離」の問題です。音声データを収集するにあたっては、人の声だけを正確に収集する必要がありますが、特に接客シーンなどでは、背後に雑音・騒音が入り込むことが少なくなく、目的とする音声を抽出することに難しさが生じます。音源分離については、こちらのコラムで詳しく紹介しています。
エンジニアコラム：声や音を聞き分ける、『音源分離』とは
文章からの感情分析
表情、音声に加えて、文章も感情が表れるデータの一つです。特に近年はインターネットやSNSの普及により、こうした文章データは取得がしやすくなってきたため、データ収集が比較的取り組みやすい分野であり、文章感情AIソリューションや自然言語処理を活用したAPIも多く登場しています。
しかし、文章感情分析は比較的取り組みやすい分野である一方、冒頭の話に基づけば、心理学的・脳科学的には注意が必要な面もあります。それは、文章とは人が行動を起こした結果として作り出されるものであって、意識的な感情としての側面が強く、場合によっては社会的な目を気にして表現が歪められるなど、嘘の感情として表現されることも少なくないということです。世の中のSNSの投稿を思い浮かべれば分かりやすいように、宣伝目的の投稿、周りに迎合した文章、匿名だからこその歪んだ発言など、文章には感情以外の社会的要素が多く含まれるのが実際です。この社会的要素も広い意味の「文脈」と呼べます。
感情という分野は確かに、技術的には取り掛かりやすい。しかし無意識的な反応として表れる表情や音声とは違い、その文章に含まれる文脈や背景などを読み取ることなくしては、真の意味での感情を捉えにくい面もあります。
感情分析AIの市場はまだまだ広がる
AI全般がそうであるように、感情分析AIについても今後まだまだ伸びていくことが予想されています。グローバルインフォメーションが2022年5月に発表したレポートによれば、感情AIを含む感情コンピューティングの市場規模は2021年に約370億ドルであったところ、2027年までに約2276億米ドルにまで成長すると予測されています。
また、一人ひとりの感情を分析するということは、商品・サービスを効果的に販売・提供する「パーソナライゼーション」を推進できることにつながるため、市場が成長する予測の根拠の一つに挙げられています。例えば、eラーニングなどの学習システムに広く応用されれば、感情分析を基にした理解度の把握と、さらにそれに基づいた次の教育コンテンツの提供がされることも考えられます。
出典：グローバルインフォメーション『市場調査レポート: 感情コンピューティングの世界市場：業界動向、シェア、規模、成長、機会、予測（2022年～2027年）』
感情分析AIの活用
最後に、感情分析AIの活用例として、すでに実用化されているものから、将来的に実現されるであろう技術をいくつか取り上げます。
人々の幸福度を測定する感情認識AIカメラ
アラブ首長国連邦のドバイで実際に実用化されているのが、カメラに写った人々の表情などから幸福度を測定し、さまざまなビジネスに生かすAIです。このシステムでは人々の幸福度を測定し、システムの利用側にその結果をフィードバックします。幸福度が低下すればアラートを出し、従業員の対応を改善するといった活用方法が見込まれています。
なお、表情解析では、保存された個人情報である表情データの扱いが問題になることが少なくありません。しかしこのシステムでは、分析に使用した画像は保存されない仕組みが搭載されています。
出典：Gulf News「Are you happy: RTA starts measuring customers’ happiness level by using AI-cameras」
自動車乗員のリアルタイム感情分析
昨今、運転中の安全確保や自動運転技術の開発に役立てる目的などで開発されているのが、自動車乗員の感情をリアルタイムで分析するAIです。例えば、車内に設置しているカメラとマイクから映像と音声を取得し、双方を分析することで乗員の感情を分析するシステムが登場しています。
このシステムでは単に感情を分析するのではなく、眠気に関するサインについても分析し、アラートを鳴らすことも可能です。顔の角度から眠気を検出するようなシンプルなシステムに比べ、AIによって多角的に分析しているため、より実用性の高い眠気防止システムだと言えます。
また先日、デンソーがあおり運転防止のための感情認識AIの研究成果を報告するど、自動車の利用シーンにおける感情分析AIの活用が活況になっています。
出典：日経クロステック「感情認識AIで「あおり運転」防止など、30周年のデンソー先端技術研」
表情解析による燃え尽き症候群の予測
ストレス状況など心的状態を測定することも、感情分析AIの活用が見込まれる分野の一つです。今後の発展が期待される研究ではありますが、筑波大学とテックウインド社が発表したのが、表情解析に基づく燃え尽き症候群の予測に関する取り組みです。その他、うつ病やPTSD（心的外傷後ストレス障害）、認知症などに代表される気分障害や疾病の診断のサポートとして、AIを用いてその兆候を把握できるようになることは、今後、感情分析AIの活用が期待される分野の一つだと言えます。
しかし、こと医療現場は診療や医療判断のミスが許されません。そのため、不確実性の高いAI技術の応用は現実的に難しい側面も否定できず、現状、意思決定やそれに準ずる機能を持つAIが、医療現場に導入されているケースは少ない状況にあります。
Laboroコラム：いのち守るためのAI。医療現場へのAI導入の壁
出典：日本経済新聞「テックウインド、筑波大とAI感情分析による燃え尽き症候群の予測に関する共同研究契約を締結」
マーケティング・リサーチでの活用
感情分析のビジネス応用が最も見込まれるのが、マーケティング・リサーチ分野です。TRIALのようなAI店舗や、b8taといった
「売らない店舗」も話題になっている他、商品を手に取った際の来店客の状態を分析する方法が実現しています。分析データに基づいて最適な広告を配信したり、分析データそのものを企業に販売して購入企業が次の商品開発に生化したりするなど、単にユーザーの状態を分析するに留まらない、多方面でのビジネス展開がなされています。
また、デジタルサイネージにAIカメラを搭載し、表情から広告の効果を検証するといった例も登場し、広告やプロモーション分野でもより高い精度での広告配信が実現され、その基礎技術として感情分析AIが用いられるようになってきました。
一方、これらの分野で特に活用される不特定多数の表情データには個人の肖像が含まれるため、その扱いに注意が必要です。個人情報にあたる表情データそのものをクラウドに保存することは危険性が高いため、例えばエッジカメラ側で画像を削除した上、処理されたデータのみをクラウド側に送信するなど、プライバシー保護をともなったシステム開発が求められる分野です。
Laboroコラム：答えのない、マーケティング×AIの世界への挑戦
テキスト内容から感情を分析
入力されたテキストの内容から感情を分析し、分類するというサービスも登場しています。オンラインカウンセリングアプリ「Unlace（アンレース）」を開発・運営するUnlace社は、2021年からサービス利用者・カウンセラー間のメッセージ内容をAIで解析することにより、心理状態や感情の可視化できるサービスとして「感情分析ダッシュボード」の提供を開始しています。Twitter連携によりTwitterに投稿した内容も解析可能としています。
出典：PR TIMES「AIによる言語解析で感情を可視化する「感情ダッシュボード」提供開始」
感情分析AIを「デジタルパートナー」に
AIで感情が分析できるならば、メンタルヘルスケアやカウンセリングなどの認知行動療法への応用も見込めます。その上で、例えばチャットボットは将来的に、人間に寄り添うデジタルパートナーとしての役割も期待できるという見方もあります。
その際に欠かせないのが、表情や発話などから意味と感情を読み取った上で、返答の生成に感情表現を含ませることです。声色やディスプレイで表現される表情に共感性を持たせられれば、AIによる効果的なメンタルヘルスケアができるようになるかもしれません。
出典：名古屋大学 工学部/工学研究科 河口研究室「アフェクティブコンピューティング」
感情分析AIの課題点
感情分析AIをより活用して人々の生活を豊かにしていくためには、さまざまな課題があります。
一つ目は、前述の基本感情説はありつつも、2010年代後半から「人間の感情はそんなに単純ではない」という議論が立ち上がり、感情の研究自体が転換期を迎えています。ベースにする理論の確立が一つ目の課題です。
二つ目は個人情報データの取り扱いです。感情分析AIでは、分析に必要なデータは基本的に人の感情に由来していて、個人情報となります。むしろ、状況によっては最も知られたくない個人情報になり得ます。表情などのデータを日常的に取られ、データとして蓄積されて使われていく社会を、私たちはどこまで受容できるでしょうか。データ提供に十分な安全性と利便性が担保されないと、データを提供したいと思う人が増えず、AIが成長するための十分な学習データが集まらないでしょう。
出典：産総研マガジン「AIと感情」
考えるな、感じろ。アジャイルに
「考えるな、感じろ（Don’t think! Feel.）」 −−。映画『燃えよドラゴン』でブルース・リーが発した名台詞ですが、私たち人間は、ロジカルに考えるだけでなく、感覚的あるいは本能的に何かを感じ取る能力を確かに持っているようです。人の感情とはまさにその一つであり、本来、ある人を「彼は喜んでいる」「彼女は悲しんでいる」と一義的に枠に当てはめることは不適切なことです。なぜなら、彼が感じている喜びの裏側には、それまでの経験としての楽しさもあれば、過去の記憶からくる悲しさもあり、それらが複雑に絡み合った結果として喜びが表現されているはずで、私たちはそうした彼の状態を考えることなく無意識のうちに感じ取っているからです。
こう考えると、少なくとも現在の感情分析AIは、あくまで人が考え、一義的に定めたルールに基づいて表面的に把握される状態を分類しているだけに過ぎず、人の歴史や経験、記憶といった文脈を無意識的に感じ取り、感情を読み取ることには遠く至ってはいませんし、今後しばらくはその領域に届くことは無さそうです。
しかし、だからと言って感情分析AIに意味がないということではありません。確かに、上記のような単に一義的な割り振りをするような「AI」の名が付いただけのツールでは役立たずかもしれませんが、感情という複雑な人の心理を扱うために、そもそも感情とは何か、活用シーンに応じてどのような状態を抽出したいのか、どのような判定結果が出るとビジネス的に成功と言えるのかを入念に検討し、そのためのAIモデルを、考えに考えて設計することが、感情分析AIをビジネス成果につなげていくための肝になります。
感情を分析・予測するということは、人であっても簡単なことではありません。そのためのAIモデルを開発するためには、考え、感じ、さらに考えることを繰り返し、アジャイルに開発を進めていく覚悟とパートナーが欠かせないのです。
