ブラックボックス化を防げ。「説明可能なAI（XAI）」の重要性
2023.4.28
株式会社Laboro.AI リードマーケター 熊谷勇一
概 要
ChatGPTが急速に普及したり、政府がAIに関わる国家戦略を検討する新たな「AI戦略会議」を設ける方針を固めたりするなど、日本でのAI活用が一段と加速しています。中でも、AIの根幹的な技術の一つであるディープラーニング（深層学習）の弱点を補うかのように登場して注目を集めているのが「説明可能なAI（Explainable Artificial Intelligence、XAI）」です。本稿では、XAIの概要や背景、分類などについて解説します。
目 次
・説明可能なAI（XAI）とは
・XAIが重要視される背景
・AIの普及が進み、責任の所在が複雑化
・GDPRの影響
・XAIが必要とされるケース
・医療業界
・金融業界
・XAIの分類と限界
・XAIの3種の説明方針
・大局的な説明
・局所的な説明
・説明可能なモデルの設計
・XAIの限界
・ディープラーニングを補うXAIを補う存在とは
説明可能なAI（XAI）とは
XAIとは、AIがデータを分析しある結果を出力したとき、その出力に至った理由を説明できるAIを指します。説明可能なAIが注目を集める理由は、AI技術の一つであるディープラーニングが「説明できないAI」と言える面があるためです。
ディープラーニングとは、機械学習に必須なパラメーターである「特徴量」を指定することなく、コンピューター自身が特徴量を探して学習を行っていく手法です。
機械学習では原則として、人間が特徴量を選択する必要があります。特徴量とは、コンピューターが物事を認識する際に基準とする特徴のことを指し、画像認識においては「色」「形」などが特徴量として考えられます。
この「特徴量の選択」という人間の作業を取り払ったのが、ディープラーニングです。ディープラーニングでは与えられたタスクに対し、どの特徴量を参考に学習すればいいのかもコンピューター自身が判断します。
ディープラーニングについてはこちらもご覧ください。
AIと機械学習、ディープラーニング（深層学習）の違いとは
一方、ディープラーニング以外の機械学習では、特徴量やアルゴリズムを人間が選定するため、得られた結果に至った過程を説明することができます。しかし特徴量の選択をコンピューター自身が行うディープラーニングでは、結果に至る過程は人間には基本的に理解できません。パラメーターの数が数百万に及ぶこともあり、これだけの数を理解するのは現実的に不可能だからです。
ディープラーニングはよく「ブラックボックス」と言われますが、解釈によっては誤解が生じるかもしれません。ブラックボックスは一般に「内部が明らかでないもの」を指しますが、ディープラーニングもコンピューターによる計算を基に成り立つ論理的な技術なので、理論的には説明可能です。ただ、上記のようにパラメーターが膨大なために人間の理解が追いつかず、説明できないに過ぎません。さらに言えば、説明が成立するかどうか、つまり説明を聞いた相手が理解・納得できるかどうかも、人間の問題です。説明する相手の理解力に合わせた説明をしなければならないということであり、説明可能か不可能かの尺度はあくまで人間だということです。
そうした、人間が説明できないAIを何らかの方法で説明しようとする技術が、XAIなのです。
参考：福岡真之介『AI・データ倫理の教科書』
XAIが重要視される背景
XAIが重要視される背景には以下が挙げられます。
AIの普及が進み、責任の所在が複雑化
AIが普及すればするほど、AIの動作が原因で何らかの危害が発生した場合にAIの判断の説明ができないと、危害に関する責任の所在が曖昧になってしまいます。他者が提供しているモデルやアルゴリズムを組み込んでAI システムを構築・運用することが一般化してきている状況の中では、AI システムの振る舞いに関わる責任はますます複雑化している面もあります。こうした状況でXAIは、AI システムの設計・開発・運用・利用に関わるあらゆる人たちが適正な範囲における責任を果たすために求められています。また同時に、AIシステムの技術的な改善を促進するためにも活用できます。
出典：村田潔「説明可能なAI（XAI）」
GDPRの影響
EU（欧州連合）によって策定され、2018年5月から適用されている「一般データ保護規則（General Data Protection Regulation、GDPR）」もXAIの重要性を高めています。GDPRとは個人データを保護するための法的な枠組みとして、強い影響力を国際的に与えています。
その中に、ユーザーは自身のデータが処理・出力された結果に関し「説明を受ける権利」を有しているという内容があります。データの管理者は、適切で数学的・統計学的という客観的な手法を用い、公正かつ透明性のある処理を行っていると保証する必要があります。個人データをAIで処理する際も同様であり、XAIが求められます。
なお、GDPRは、EU居住者の個人データを収集・処理する限り、EU域外に活動拠点があっても適用対象とされます。 例えばネット通販などでグローバルにサービスを提供する日本企業も対象となり、GDPRの指針に基づいた対策が求められます。
出典：日立ソリューションズ「GDPR（EU一般データ保護規則）とは？ 日本企業が対応すべきポイントを考える」
XAIが必要とされるケース
XAIが求められる業界に限りはないと言えますが、特に重要な二つを取り上げます。
医療業界
疾病を特定し、患者にその内容や治療法について説明する必要のある医療業界では、命に関わる場合が少なくないことから、XAIの重要性が高いのは想像に難くないでしょう。
特に、医師が疾病を判断する際の支援をするAIの需要が高まっています。例えば、レントゲン画像などから疾病を判断する際の正確性について、結果だけ示して判断の過程を説明できなければ、採用した際のリスクの評価ができず、支援ツールとしての有用性に欠けます。画像のどの部分に注目し、どんな理由で特定の疾病であるかの判断をしたという説明を示せれば、医師の判断を支援できる存在になるでしょう。
医療におけるAIについては、以下のコラムもご覧ください。
いのち守るためのAI。医療現場へのAI導入の壁
薬局DX。AIは薬剤師業務を変革できるか
金融業界
利用者の健康や命に関わる医療だけでなく、生活を左右する金融もまたAI活用には慎重になるべき業界であり、XAIの重要性が高いと言えます。
貸付審査を判断するAIを例に考えてみましょう。貸付審査は審査を受ける人の生活に関わることであり、公平な判定が下される必要があります。貸付不可の判定が出たとすると、顧客はその判定の理由を問い合わせることでしょう。その際、予測に貢献した特徴を説明するXAIが活用できる可能性があります。「貸付残高がXX円以上、前年度年収がYY円以下のため、貸付不可」といった具体的な判定理由を提供できるようになり、金融機関としての説明責任を果たせるようにもなるでしょう。
出典：第一生命経済研究所「AI活用の鍵「説明可能なAI」とは」
金融機関におけるAI活用については、以下のコラムもご覧ください。
ハードルを飛び越えろ。金融AIの活用と事例
XAIの分類と限界
XAIの分類方法はいくつかありますが、ここでは説明方針の違いを取り上げます。さらにXAIの限界についても解説します。
XAIの3種の説明方針
AIの説明をするに当たり、何をどこまで説明すべきという方針は、大きく三つに分けられます。
大局的な説明
ブラックボックスに見えるAIを、人間が解釈できるモデルで表現することで説明とする方法です。例えば、ディープラーニングのモデルを単一の決定木やルールモデルで近似的に表現します。
局所的な説明
特定の入力に対する出力について、予測の根拠を説明する方法です。個々の予測結果の判断理由を理解することを目的としており、予測過程を説明しているとも言えます。
例えば、EY新日本有限責任監査法人（EY新日本）は2023年4月に、機械学習を活用した「進捗度異常検知ツール」に、XAIによる分析機能を追加しました。このツールは建設業など請負業の監査向けで、XAIの追加により、各工事契約で何の特徴量が推定値の算定にどの程度影響しているかを把握できるようになりました。さらに特徴量が類似する他の工事契約をXAIが提示するため、監査人は全体の傾向を理解した上でリスク評価とより深い洞察を提供でき、監査先企業のガバナンス強化が見込まれます。
出典：IT Leaders「EY新日本、“説明可能なAI”で建設業など請負業監査における工事契約の進捗予測を高度化」
説明可能なモデルの設計
上記二つがモデルの挙動を説明するのに対し、人間にとって解釈しやすい機械学習モデルを構築する方法です。
例えば、理化学研究所革新知能統合研究センターらの研究チームは、病理画像を診断する画像認識AIの説明可能性を高める技術を開発したと発表しました。研究チームはまず、画像分類の学習に教師なしのディープラーニングモデルを用いました。その上で、病理の診断データを使って分類ごとの特定の病理の再発率を算出。さらにこの分類の有用性を、サーポートベクターマシン（SVM）やロジスティック回帰といった教師あり学習のモデルを構築して確認しました。学習工程が病理画像の分類と再発の予測の二つに分かれていることから、それぞれでのAIの判断が分かり、人間にとって解釈しやすいモデル構築になったと言えます。
XAIの限界
ここまでの説明を通して、XAIはディープラーニングを補完する素晴らしい技術であるという印象を強めた方もいるかもしれません。しかし万能ではなく、限界もあります。まず、XAIはあくまでAIモデル内の判断の説明を行うものであり、ビジネス上で要求されるレベルの説明までできないことが少なくありません。
さらに、XAIが示す特徴量と予測値について、特徴量と予測値の関係として解釈するのは無難かもしれませんが、特徴量と目的変数（因果関係の結果となる変数）との因果関係と解釈すると誤った判断となる可能性があります。
例えば、AIがデータを解析して、特定の趣味を持っている人がある企業で昇進しているという結果が出たとします。「昇進」という結果に対する原因を「特定の趣味を持っている」と捉えるのが因果関係です。しかしAIは因果関係の間にある論理展開は見ず、文字通り結果しか見ていませんので、昇進の原因が趣味だとは必ずしも言えません。にもかかわらず、人間は、相関関係に過ぎないことを「特定の趣味を核にした派閥があって、それが人事に影響を与えているんだ」といった因果関係と捉えがちと言われています。XAIによる解釈には慎重な検討が必要なのです。
出典：福岡真之介『AI・データ倫理の教科書』
：日経BPムック『倫理、説明、データ利用、23の注目事例から学ぶ 正しいAI導入』
ディープラーニングを補うXAIを補う存在とは
AI、特にディープラーニングがさらに普及すればするほどXAIがさらに求められます。その際、XAIの限界に基づく弱点も拡大してしまうことになります。そこで必要なのが、繰り返しになりますが、XAIによる解釈について、人間が慎重に検討することです。この慎重な検討を担えるのは、誰でもできるということではなく、AI開発はもちろん、ビジネス課題の解決も熟知した人材です。当社のソリューションデザイナは、これら両方を満たした人材であり、あなたのビジネスを成功に導き、新しい姿に進化させます。説明が求められるAIの開発こそ、当社にご相談ください。
