人間が知識を教え込まなくても、彼｜彼女は深層学習によって自ら学習し知識を獲得できるようになったが、彼｜彼女がどのようなタイプの知識をどうやって獲得しているのかは我々にはわからない（おおよその見当は付くが検証はできない、いわゆるブラックボックス）。故に「シンギュラリティ」つまり「AIの知性が人間のそれを凌駕する特異点」みたいな話が脚光を浴びることにもなり、「これってフランケンシュタインなんじゃね？　それも、人間から知的労働を奪うぐらいに頭のいいフランケンシュタイン、不気味〜」的な不安を生んでいる。が、幸か不幸か、その心配はまずない。深層学習で獲得可能な個々の知識は同じでも、その総体としての知性は我々人間が持っている知性とは明らかに別種、極めて一面的なものだからだ。第二次AIブームの時の用語でいえば「弱いAI」、超賢い「エキスパートシステム」。というのも、彼は特定の分野でのみ通用するルールに従って動作しているので、ルールが限定されるゲームであれば圧倒的なパフォーマンスが叩き出せるが、その領域から一歩外に出たら何もできなくなるし、そもそも彼は自分がルールに従っているという自覚もなければ自分がゲームをしていることすら知らない。彼はルールを理解しているわけではなく、ルールを作る権限も持っていない。
が、もし我々が「ルール作るの面倒だよね、責任取らないといけないし、そうだ誰かに丸投げすれば楽かも〜」などと安易に考えて「ルールを作れる学習方式」を実装すれば、この前提も崩れる。ホラーでよく語られる「一番怖いのは人間だ」という殺し文句はここでも正しいのである。

田園都市線、渋谷駅のホームでエーアイを待ち続ける人たち。にもかかわらずそれが本当にやって来るとはたぶん誰も思っていない。