Laboro.AIコラム

画像検索【ビジネス成長のためのAI用語】

公開2024.5.17　更新2024.9.6
株式会社Laboro.AI　リードマーケター　熊谷勇一

用語解説

画像検索は、特定のクエリに基づいて、ウェブ上やデータベースの中から画像を検索する技術です。

そうした検索エンジンは、クローラーというロボットを使ってウェブページを巡回させ、画像だけでなくテキストや動画などのコンテンツをデータベースに登録します。この登録はインデックス作成と呼ばれます。インデックスには、コンテンツが掲載されているページのURL、キーワード、メタデータなどが含まれます。ユーザーがクエリを入力すると、検索エンジンはインデックスを検索して、関連する画像を探し、キーワードに一致する、または類似しているとされた画像が表示されます。

応用&詳細解説

すでに多くの人が利用しているように、「画像を画像で検索する」という「類似画像検索」も生まれました。この場合のクエリはもちろん画像であり、その画像の特徴（色、形状、テクスチャなど））を抽出して特徴量を分析します。その特徴量と、ウェブ上やデータベースにある各画像の特徴量を比較し、類似しているものを出力するシステムです。

特徴量を抽出する手法には三つの代表例があります。一つ目は「AKAZE」で、他の二つと違ってディープラーニングを利用していません。拡大・縮小や回転を施しても類似性を維持しやすい、学習の必要がなくすぐに利用できるなどのメリットがあります。また、PythonのOpenCVに実装されている点や、無償で商用利用できるなどの使いやすさもあります。ただしAKAZE自体は特徴点・特徴量を抽出するだけで、類似画像検索を実行する際は、特徴量の類似度を計算する必要があります。

二つ目は、ディープラーニングの学習済みモデルを用いた特徴抽出です。学習済みモデルは誰でも入手でき、AKAZEと同様に学習が不要なので、すぐに使えるというメリットがあります。また得られる結果は人間の判断にかなり近いという意見がある一方、どこに注目して似ていると判断したのかが分からないというデメリットがあります。

三つ目は、「Triplet loss」です。Triplet lossは、「似ている」としたい画像間の特徴量同士の距離を近くし、「似ていない」としたい画像間の特徴量同士の距離は遠くなるように、ネットワークのパラメータを取得するために使用されるロス関数のことです。つまり、人間の都合に望ましい結果が出る検索が可能になりますが、その分、学習量が膨大になるというデメリットがあります。

Googleのマルチ検索

類似画像検索はすでに普及していると言える状況になっており、最近ではGoogleが2023年に実装した「マルチ検索」といった拡大した機能も実現しています。マルチ検索は、Google レンズを使って、撮影した写真やスクリーンショットにさらにテキストを加えて検索できる機能です。例えば、ボードゲームのような物を撮影し、その画像に「このゲームはどのようにして遊ぶのですか」というテキストを組み合わせて検索すると、生成AIや画像認識技術、ウェブ検索を組み合わせて、AIによる回答と検索結果が表示されます。AIによる回答に対しては、文脈を引き継いだまま次の質問をすることもできます。

家具の画像検索などで利用法人数が3.7倍

リクルートのインテリア提案業務支援サービス「MINTERIOR」（ミンテリア）は2024年1月から、見た目が似ている商品をカタログから検索できる「類似画像検索機能」を搭載し、使い勝手を高めています。「形が似ている」「カラーが似ている」といった軸だけでなく、「ドラマの登場人物の部屋にあるソファに似た商品を探したい」といった複雑かつ新しい情報にも対応した検索も可能にしたとしています。これらの改善によってミンテリア事業が好調となり、2024年1月末時点の利用法人数は2023年3月末から3.7倍に増えたといいます。

ヤフーの画像検索技術

日本のインターネット企業であるLINEヤフーでももちろん、画像検索技術を開発・活用しています。類似画像検索についてはこれまで、2019年からiPhoneアプリ版のYahoo!ショッピングで利用可能にし、さらにファッション画像検索アプリ「FavNavi」をリリースしています。

それらでは、「物体検出を利用した矩形領域ベースの類似画像検索」の仕組みを採用しています。つまり、検索対象となるのは画像全体ではなく、画像内の各オブジェクトだということです。これにより、複数の商品が写っている商品画像でも、個々の物体を検索対象にできます。また、構図や背景に依存しない特徴量を抽出しやすいというメリットもあります。検索対象となるすべてのオブジェクトの特徴量は、商品情報などのメタデータと紐付けた上でインデックスされ、検索可能な状態になります。

そうしたインデックスされるオブジェクト数はおよそ10の8乗規模ですが、この規模の高次元特徴量を高速に検索するため、近似近傍探索（最近傍探索に比べ厳密な近傍点を求めず、近傍点との距離を近似計算することで、計算時間を抑えながら近傍探索を行う手法）を採用しています。同社の類似画像検索の特徴としては、データから、物体検出、特徴量、近似近傍探索までの実施を自社で完結していることも挙げられます。

物体検出については当社コラム「物体検出【ビジネス成長のためのAI用語】」もご覧ください。

ビジネス応用

ECやネットオークション、フリーマーケットサイト、画像SNSなど、大量の画像を扱うサービスが普及しており、類似画像を検索する需要も高まっています。従来のように人手によるタグ付けは多大な労力が必要なだけでなく、画像の色合い（ヒストグラム）や形状などの類似度を用いるだけでは、例えば色合いは似ているが中身は全く違う画像が誤って選ばれてしまうなどの不適切な検索結果となることもありました。

しかし現在では、適切な教師データで事前にディープラーニングを施しておくことで、一つずつの画像にはタグを付与しなくても、AIが画像の中身を理解して適切な画像を出力するソリューションも実現しています。

それにより、例えばEコマースにおいては、ECサイトの裏側に走る商品検索システムとしてAI画像検索を活用することで、ユーザーが閲覧している商品と近い商品をレコメンドするための商品画像をより高い類似度で検索できるようになります。そのことから、こうしたレコメンドシステムでよく課題となる「コールドスタート問題（閲覧・購買履歴が十分に蓄積されていない初期ユーザーには、レコメンドできる商品が見つからない問題）」を解決するために、画像検索は大きな貢献を果たします。例えばユーザーが選んだ画像に加えてタグや気分も情報として加え、より精度の高いレコメンドができる可能性が生まれます。

大量の画像データを保存・検索・活用するためのコンテンツ管理システムでは、画像をクエリとして内容が近い画像を検索できるようになり、従来のタグやファイル名、日時などに基づく検索システムに組み合わせて使うことで、より直感的な画像検索が可能になります。

さらに、こうした類似画像検索のソリューションでされてきた代表的な工夫の例を二つ挙げます。一つ目は、畳み込みニューラルネットワーク（CNN）のアーキテクチャであるResNetを採用し、高い精度での画像検索を可能にしているものがあることです。ResNetは100層を超える「深い」ニューラルネットワークのアーキテクチャで、画像認識のコンペティションであるILSVRC（ImageNet Large Scale Visual Recognition Challenge）で人間を超える精度を実現したモデルです。画像理解のコアの部分にResNetのアーキテクチャを使用することで、画像の内容を正確に把握して検索することを可能にしています。

もう一つが、柔軟な教師データによる類似尺度のコントロールをしている例があることです。「どのような画像が似ているのか?」という判断は、そのシステムが使われるコンテキストにより変わります。クエリ画像とそれに似ている画像、似ていない画像の三つの画像の組を教師データとして与えることで、類似尺度をコントロールします。これは、ランク学習（Learning to rank）と呼ばれる機械学習手法をディープラーニング技術と融合する事で実現しています。

ごく最近では、GPT-4oを活用する方法も出てきました。GPT-4oに画像を読み込ませ、人間が作業する場合の作業者の興味・関心の強さによらずさまざまな特徴をが画像説明文（キャプション）として高速に生成させ、さまざまな在り方の検索に対応できるデータベースの構築に役立てられます。

当社ソリューション
Laboro.AI「類似画像検索ソリューション」

参考
PLAN-B「クローラー、インデックスとは？Googleの検索エンジンにページが認識されるまでの仕組みを理解しよう」
TOSHIBA「深層学習を用いた類似画像検索技術」
iMagazine「類似画像検索の3つの手法と精度向上のテクニック」
Google Japan Blog「AI が可能にする新機能－より視覚的な検索体験を」
日経XTECH「Googleが生成AI使った「マルチ検索」開始、画像とテキストの合わせ技」
日本経済新聞「リクルート、「似ている」家具を画像検索　提案業務支援」
LINEヤフー「ヤフーの類似画像検索技術と特徴量モデル〜 Yahoo!ショッピングの事例紹介」
PR TIMES「Laboro.AI、画像を内容の近さで検索できるAI画像検索システム「類似画像検索エンジン」をリリース」