見たことがあっても名前を知らない物や、描写の方法が難しい場合には、自然言語処理であれ何であれ、言葉を使った検索は困難だ。だが、言葉で説明できなくても、絵に描くことならできる場合がある。手書きの絵をスキャンして、その絵に最も合致する写真を探す研究がジョージア工科大学で行われている。

その絵に最もマッチする写真をデータベースから検索しようという試みで、スケッチを分析する部分と、写真の合致度を値踏みする部分にニューラル・ネットワークが使用されている。研究では、Amazon Mechanical Turkで集めた664人に、数千枚のストックから選んだ写真を2秒間見せて、記憶を頼りに絵を描いてもらった。

絵は、誰もが上手に描けるとは限らない。芸能人などが、お題とかけ離れた、バランスの悪い絵を描くと「画伯」などと揶揄されるが、世の中にはむしろ「画伯」の方が大勢いるかもしれない。特徴的な部分を強調しすぎたり、必要以上に省略したり、実際にはないものを描き加えてしまったり、バランスが崩れたりするから、お手本を見ずに描いた絵は、人間が見ても何の絵だか分からないことも多いだろう。

ちなみにジョージア工科大のAIは、37％の精度でどの写真を見て描いたものかを言い当てたという。ちなみに人間は54％ほどの正確さで言い当てることができたようで、今のところAIの方が劣るが、研究者らの見込みでは、AIが勝つのは時間の問題らしい。

研究が進めば、例えば、欲しい洋服や靴の絵を消費者に描いてもらうオンライン・ショップや、似顔絵から被疑者を見つける警察向けシステムに発展する可能性があるようだ。

ファッションに疎い人にはチュニックやペプラムなんて言葉は思いもよらないし、新品の靴下が売られている時についている留め金の名前を知っている人はほとんどいない。見かけたアパレルを表現するファッション用語を知らないがゆえに検索できず、がっかりしていた人が、手書きの絵で検索できるようになるわけだが、何枚描いてもマッチする写真がヒットしないと、別の意味で落胆してしまう可能性もある。

【参照情報】
・The Sketchy Database: Learning to Retrieve Badly Drawn Bunnies
・A Search Engine That Matches Your Drawings to Photographs Isn't Too Far Off
・Scan your doodles to find the perfect matching photo online