幻に消えるAIプロジェクト。PoCを越えろ
2022.4.3
概 要
2010年以降、各産業分野で急速に活用に火がついたAIですが、その難関と言われるのがPoC（ピーオーシー／ポック）です。「PoC疲れ」「PoC死」などの不吉なワードも生まれ、PoCは多くの企業AIプロジェクトを幻と化してきたようです。それほどの難しさを伴うPoCとは何なのか、そして開発フェーズでどのような役割を持ち、どう乗り越えていくべきか、今回のコラムで考えていきます。
目 次
・AI開発／AI導入プロジェクトの壁
・PoCの重要性
・AI開発のプロセス
・① 企画・構想フェーズ
・② PoCフェーズ
・③ 開発・実装フェーズ
・要件定義
・データ収集
・モデル開発
・④ 運用フェーズ
・企業の夢を阻む「PoC疲れ」「PoC死」
・PoC疲れ・PoC死が起きる原因
・目標や成果が曖昧なままスタートする
・完璧な精度を求め、曖昧な評価基準を設定してしまう
・現場不在でプロジェクトを推進する
・PoCの失敗を防ぐための「デザイン」思考
AI開発／AI導入プロジェクトの壁
これまでのコンピュータでは実現できなかった処理をも可能にするAI技術は、さまざまな産業・業種で活用が進んでいます。すでに生活の一部として社会に溶け込んでいるAIプロダクト・サービスもあり、今後さらにAIの活用は加速していくはずですが、そうした製品やサービスに搭載するために、あるいはビジネスにAIを活用するためには当然ながらAI部分の開発が必要になります。
ですが、AI開発のフェーズの中でも多くの企業の夢を阻んでやまないのが、PoC（Proof of Concept：概念実証）と呼ばれるものです。
PoCの重要性
“Proof of Concept”の略語であるPoCは、「概念実証」と訳される開発フェーズの一つで、これから開発しようとしているAIなどの技術を用いた商品やサービスあるいはビジネスモデルに新しい技術・概念を導入するに際して、それが実現可能かどうか、そしてどのような形であれば実現ができるのか、さらにコストや期間がどの程度かかるかなどを検証する段階です。言ってみれば実験開発のようなものですが、机上の空論として企画のみで終わらせるのではなく、実際にテストモデルを開発して実現可能性を確かめるプロセスです。
PoCという言葉自体は、開発前の検証フェーズとして昔からある言葉ですが、近年のAIやIoTの浸透に伴って改めて注目されるようになっています。というのも、AIで用いられる主要な技術である機械学習は、コンピュータ自身が学習してパターンや法則性を見つける技術であるため、「やってみなければ分からない」側面が必ず伴います。PoCは、技術的な実現可能性や製品・サービスのコンセプトに問題がないかを確認するための、AI導入プロジェクトにおいて絶対に欠かせない手続きなのです。
AI開発のプロセス
PoCについて説明するにあたって、AI開発のプロセスを追いかけてみたいと思います。様々な捉え方はあるものの、AI開発のプロセスは大きく4つに分けることができます。
① 企画・構想フェーズ
まずは、AIによってどのような課題を解決するのかについて企画を行います。
解決すべき課題を定義し、それがAIを用いるテーマとして相応しいかを議論し、費用対効果（ROI）が得られるかを確認します。最終的に、このプロジェクトを進めるかどうかの投資判断をします。
② PoCフェーズ
企画・構想フェーズで決定したプロジェクトについて、目指す成果がAI技術で達成可能かを試験的に検証する段階が、いよいよ登場するPoCです。PoCでは仮のモデルとなるモックアップを実際に開発し、データは必要十分に収集・確保できるか、期待する精度・処理速度結果が得られるか、オペレーションに問題がないか、策定したROIが得られるかといった目線で、アジャイルに開発が進められます。また、既成のAIシステムやAIプロダクトなどでそのビジネス課題が解決できる可能性もあるため、どの程度でスクラッチ開発とするかなどついても検討します。
③ 開発・実装フェーズ
PoCフェーズで技術的に、そしてビジネス的にもその実現性が確認できれば、開発・実装フェーズに移行します。PoCフェーズで仮モデルであるモックアップを開発していますが、本番開発にあたるこのフェーズでは、改めて実際のビジネスオペレーションに適した仕様に基づいて再開発することがほとんどです。
要件定義
どのようなアルゴリズムを使ってどのようなデータを出力するかというAIモデルの仕様、それを実現するためのデータの検討など、プロジェクトを進めていくに当たって必要な要件を改めて定義していきます。本番開発の羅針盤となる要件定義は非常に重要で、ここが甘いと開発・導入が失敗したり、無駄な出戻りが発生したりするなどのロスを生みかねません。
データ収集
もちろんPoCフェーズでもデータを収集してはいるものの、本番開発ではさらに多くのデータが必要となることも少なくありません。十分なデータが取得できるが見込みが立っていない場合には、継続的に取得できる体制を構築するなど、ビジネスオペレーション側にもメスを入れいく必要が出てきます。
モデル開発
要件定義に基づいて作られた仕様書、収集したデータを用い、AIモデルを開発していきます。実開発は企業での内製化が難しいフェーズであり、AIベンダーに依頼されることがほとんどです。開発後にはテスト／評価を行い、正常に処理が実行されるか、期待した精度・速度結果が得られるか、業務オペレーションに支障がないかなどを検証し、問題がある場合には前後の開発プロセスを行き来し、細かな調整・修正を進めていきます。
④ 運用フェーズ
無事に開発が完了してビジネス現場に実装できた後には、そのAIシステムを運用するフェーズに入っていきます。AIは“作って終わり”ではなく、次々と入力されていく未知のデータに合わせた調整やデータの再学習、システムの保守、そしてビジネス上のKPIの確認など、改善のためのPDCAを常に回していくことが重要です。
企業の夢を阻む「PoC疲れ」「PoC死」
冒頭から”難関”としてPoCをご紹介していますが、AI開発／AI導入プロジェクトでは、この2つ目のPoCフェーズで何かしらの問題で失敗・停滞し、開発が中止になることが少なくありません。
構想フェーズで夢描いたプロジェクトの青写真が技術的に実現可能かを初めて検証するPoCでは、期待する精度や処理速度の成果が得られず、PoCを繰り返し実施することで現場が疲弊したり、予定していた予算を使い切ってしまったり、そもそもビジネスに何の役にも立たないことが判明してプロジェクトの仕切り直しを迫られたりと、失敗が起きやすいのが実際です。「PoC疲れ」とは、まさにこうした一向に次段階の本開発に進む目処が立たずに停滞してしまう様子を、そして「PoC死」はこのPoCの段階でプロジェクトが中止になってしまう事態を指す言葉です。
PoC疲れ・PoC死が起きる原因
プロジェクトごとに内容が様々であることから一概にその理由を示すことはできませんが、PoC疲れ・PoC死が起きる原因としては、以下のようなことが考えられます。
目標や成果が曖昧なままスタートする
「とにかくAIを導入したい」などはこの代表例ですが、目標のない技術活用がうまくいくことはまずありません。また、AI開発で避けなければならないのは「とりあえずやってみよう」と見切り発車で開発をスタートさせることです。企画・構想フェーズで解決すべきビジネス課題を洗い出し、プロジェクトの目標を定め、実施のマイルストンを置き、どのような成果が得られれば成功と言えるのかを決定・共有し、費用対効果を判断する基準を設ける必要があります。
そして、こうした内容を担当者だけではなく、プロジェクトマネージャー、エンジニア、業務担当、さらには上層部の認識として一致させた状態でスタートしなければ、後々に各部門からの指摘・要望がプロジェクトの進行を妨げることにもつながってしまいます。
完璧な精度を求め、曖昧な評価基準を設定してしまう
AIという技術はその特性から、100％の正解を示すということはありません。ゴールを具体的な数値で設定することはもちろん重要ですが、検出精度の数字にこだわりすぎた結果、処理スピード的に全く現場で使い物にならないものが出来上がったなどはよく耳にする話です。また、「精度９割」のように曖昧な目標を設定してしまうことも失敗の原因です。AIの評価指標には正解率、適合率、再現率、F値など様々な基準があり、様々な観点からその精度を評価する必要があります。
現場不在でプロジェクトを推進する
AIという世の中的にも新しい技術を用いるにあたっては、経営企画部門、新規事業部門、DX部門など全社横断部門が中心となって現場部門にへの導入プロジェクトを進めることが珍しくありません。しかし、現場部門へのヒアリングや調整が不十分だった結果、実際の現場で全く価値のないものを開発してしまったり、現場部門から導入を拒否されてしまったりなど、現場不在を原因とした失敗は後を断ちません。
一方、現場の意見を尊重しすぎ、結果として全社的なビジネスインパクトにつながらない小粒なプロジェクトに留まってしまったり、当初の目的とは異なるものへと次第に内容が変貌して行ったりというケースも存在します。企業ビジネスへのAI導入にあたっては、その主管部署がプロジェクトオーナーとしてブレのない適した役割を発揮することが鍵になります。
PoCの失敗を防ぐための「デザイン」思考
世の中のAI開発／導入プロジェクトの報告例や事例を眺めてみると、PoC疲れ・PoC死の原因としては、上のほかにも次のようなものが挙げられます。
・「ライバル企業が導入したから」という理由で、とりあえずスタートしてしまった
・何のために、何を開発するかが不明瞭なまま、予算だけ確保してしまった
・最終決裁をするマネジメント層がAIのことを理解していなかった
・経営と現場とでAIに対する認識や目標が合っていなかった
・とりあえず付き合いのあるITシステム業者に委託してしまい、言われるがまま進行
・プロジェクトマネージャーが不在のままだった
・現場データ収集に協力してくれない
・データがあるだけで、開発用に整備はしていなかった
・既存のシステムとの連携を考えていなかった
・予算は開発費用のみで、保守・運用に必要な経費を見込んでいなかった
・AIを実際に利用する現場部門に落とし込みができなかった
・現場オペレーションに全く即していないシステムだった
・そのシステムを使うよりも人がやった方が圧倒的に早くて楽だった
こうして並べてみると、PoC失敗の原因はAIにあるわけではなく、むしろプロジェクトの進め方、他メンバーの巻き込み方、教育・浸透、組織体制、知識不足など、人に関わる部分がほとんどであることに気付きます。
AIという技術は確かに新しく、専門的な領域であり、その扱いには特殊なスキル・ノウハウが必要です。ですが、その失敗の原因や難しさはAI特有のものではありません。新しい物事を組織の中に導入するということはある意味、新たな習慣や文化を浸透させることと同じです。なぜAIという技術を活用する必要があるのか、AIを用いることでどのようなメリットが自社にもたらされるのか、AIによって消費者や社会はどうより良く変わるのか、まずはこの基本的な信念を担当者自身が考え、理解し、関係メンバーに深く腹落ちさせるほどの自信と熱意を持つ必要があります。
さらにAI導入プロジェクトでもう一つ陥りがちな点として、AIの技術部分ばかりに目を向けて、ビジネス側の設計が疎かになってしまうことが挙げられます。AIであろうと何であろうと新たな技術・システムを導入するということは、多少なりともビジネス側のオペレーション改善やプロセス変更など、既存体制へのメス入れが必要不可欠です。例えば、製造ライン上にある製品の破損を検出する画像AIシステムを導入する場合には、人員配置の変更はもちろんのこと、空いた人員リソースをどこに割り当てると全体最適化によりつながるか、またAIの見落とし分はどう人にカバーさせるか、AI検品プロセスは前工程・後工程の関係からどこに置くのかなど、業務オペレーションを組み直す必要性が発生します。
一般的に「AI開発」と言うと当たり前のように技術面ばかりが注目されがちですが、開発するAIに合わせてビジネス側も再設計することが必要になります。当社Laboro.AIでは、こうしたAIとビジネスの両サイドを設計（デザイン）するためのプロセスを「ソリューションデザイン」と呼び、その重要性を提唱しています。当社が国内多数のリーディングカンパニーからプロジェクトを委託される背景には、失敗しないPoC、あるいはPoCのリトライを成功へと導くビジネスコンサルティング視点でのAI開発の強さを背景としたソリューションデザイン力があるからに他なりません。
Laboro.AIのオリジナリティ：「ソリューションデザイン」とは
