画像検索【ビジネス成長のためのAI用語】

2024.5.17
株式会社Laboro.AI　リードマーケター　熊谷勇一

用語解説

画像検索は、特定のクエリに基づいて、ウェブ上やデータベースの中から画像を検索する技術です。

そうした検索エンジンは、クローラーというロボットを使ってウェブページを巡回させ、画像だけでなくテキストや動画などのコンテンツをデータベースに登録します。この登録はインデックス作成と呼ばれます。インデックスには、コンテンツが掲載されているページのURL、キーワード、メタデータなどが含まれます。ユーザーがクエリを入力すると、検索エンジンはインデックスを検索して、関連する画像を探し、キーワードに一致する、または類似しているとされた画像が表示されます。

応用&詳細解説

すでに多くの人が利用しているように、「画像を画像で検索する」という「類似画像検索」も生まれました。この場合のクエリはもちろん画像であり、その画像の特徴（色、形状、テクスチャなど））を抽出して特徴量を分析します。その特徴量と、ウェブ上やデータベースにある各画像の特徴量を比較し、類似しているものを出力するシステムです。

特徴量を抽出する手法には三つの代表例があります。一つ目は「AKAZE」で、他の二つと違ってディープラーニングを利用していません。拡大・縮小や回転を施しても類似性を維持しやすい、学習の必要がなくすぐに利用できるなどのメリットがあります。また、PythonのOpenCVに実装されている点や、無償で商用利用できるなどの使いやすさもあります。ただしAKAZE自体は特徴点・特徴量を抽出するだけで、類似画像検索を実行する際は、特徴量の類似度を計算する必要があります。

二つ目は、ディープラーニングの学習済みモデルを用いた特徴抽出です。学習済みモデルは誰でも入手でき、AKAZEと同様に学習が不要なので、すぐに使えるというメリットがあります。また得られる結果は人間の判断にかなり近いという意見がある一方、どこに注目して似ていると判断したのかが分からないというデメリットがあります。

三つ目は、「Triplet loss」です。Triplet lossは、「似ている」としたい画像間の特徴量同士の距離を近くし、「似ていない」としたい画像間の特徴量同士の距離は遠くなるように、ネットワークのパラメータを取得するために使用されるロス関数のことです。つまり、人間の都合に望ましい結果が出る検索が可能になりますが、その分、学習量が膨大になるというデメリットがあります。

類似画像検索はすでに普及していると言える状況になっており、最近ではGoogleが2023年に実装した「マルチ検索」といった拡大した機能も実現しています。マルチ検索は、Google レンズを使って、撮影した写真やスクリーンショットにさらにテキストを加えて検索できる機能です。例えば、ボードゲームのような物を撮影し、その画像に「このゲームはどのようにして遊ぶのですか」というテキストを組み合わせて検索すると、生成AIや画像認識技術、ウェブ検索を組み合わせて、AIによる回答と検索結果が表示されます。AIによる回答に対しては、文脈を引き継いだまま次の質問をすることもできます。

ビジネス応用

ECやネットオークション、フリーマーケットサイト、画像SNSなど、大量の画像を扱うサービスが普及しており、類似画像を検索する需要も高まっています。従来のように人手によるタグ付けは多大な労力が必要なだけでなく、画像の色合い（ヒストグラム）や形状などの類似度を用いるだけでは、例えば色合いは似ているが中身は全く違う画像が誤って選ばれてしまうなどの不適切な検索結果となることもありました。

しかし現在では、適切な教師データで事前にディープラーニングを施しておくことで、一つずつの画像にはタグを付与しなくても、AIが画像の中身を理解して適切な画像を出力するソリューションも実現しています。

それにより、例えばEコマースにおいては、ECサイトの裏側に走る商品検索システムとしてAI画像検索を活用することで、ユーザーが閲覧している商品と近い商品をレコメンドするための商品画像をより高い類似度で検索できるようになります。そのことから、こうしたレコメンドシステムでよく課題となる「コールドスタート問題 （閲覧・購買履歴が十分に蓄積されていない初期ユーザーには、レコメンドできる商品が見つからない問題）」を解決するために、画像検索は大きな貢献を果たします。例えばユーザーが選んだ画像に加えてタグや気分も情報として加え、より精度の高いレコメンドができる可能性が生まれます。

大量の画像データを保存・検索・活用するためのコンテンツ管理システムでは、画像をクエリとして内容が近い画像を検索できるようになり、従来のタグやファイル名、日時などに基づく検索システムに組み合わせて使うことで、より直感的な画像検索が可能になります。

当社ソリューション
Laboro.AI「類似画像検索ソリューション」

参考
PLAN-B「クローラー、インデックスとは？Googleの検索エンジンにページが認識されるまでの仕組みを理解しよう」

TOSHIBA「深層学習を用いた類似画像検索技術」

iMagazine「類似画像検索の3つの手法と精度向上のテクニック」

Google Japan Blog「AI が可能にする新機能 －より視覚的な検索体験を」

日経XTECH「Googleが生成AI使った「マルチ検索」開始、画像とテキストの合わせ技」