GoogleやYahoo!などが使っている商用検索エンジンがリーチできない「ダークWeb」は、匿名性や暗号化に守られて、The Internetに接続されていながら人々や、検索エンジンのクローラーから隠されている。商用検索エンジンは、全てのウェブページのうち、表面にある5から10パーセント程度しか見ていないという。

残りの90から95パーセントの中には、いわゆる会員制サイトとして健全に使われているものもあれば、反体制活動家や犯罪組織、テロリストなどに活用されている場合もある。インターネットを生み出したDARPA（アメリカ国防高等研究計画局）が開発中のMemexは、ダークWebを構成する水面下のウェブサイト間の関係を調べるためのツール群で、memoryとindexをつなげた造語。Memexはもともと1930年代にヴァニーヴァー・ブッシュ氏が提唱した概念で、後のハイパーテキストに大きな影響を与えたとされる。人間の記憶を補完するアナログ・コンピュータが、利用者の持つ書籍や記録などを自動的に蓄積（メモリー）し、相互参照（インデックス）するという概念だ。

現在のDARPAのMemexは人身売買などの犯罪にネットが使われているのを政府機関が暴き出して犯罪者を見つけたり、国防その他の用途に役立てたり、民間企業がミッション・クリティカルな情報を探し出したりするのを支援するのが目的。利用者や分野に応じてインデクシングもUIもテーラーメイドで作る。最初の応用分野が人身売買組織の撲滅らしい。

商用検索エンジンは極論すればサイトの主たる収入源である広告を売ることにチューニングされているとも言えるので、探したい情報にまったくたどり着けないことも多い。また、性犯罪などに被害者を誘引するのに活用される、いかがわしいバナー広告などは、捜査員が探そうとしたときにはすでに消されてしまっている。

Memexは従来、捜査員などが手作業で検索したり、単語やフレーズなどを入力したり、結果を分類して重みづけをしたりしていた部分を自動化したり、1つの電話番号やメールアドレスなどに紐づいているサイトを視覚化したデータマップを描いたりして捜査員を助ける。詳細は明らかにされていないが、すでに捜査に活用されているそうだ。

【参照情報】
・DARPAのニュースリリース
・DARPA touts advances in deep Web search through Memex
・Human Traffickers Caught on Hidden Internet