March 25, 2026
yomoyomo yomoyomo
雑文書き／翻訳者。1973年生まれ。著書に『情報共有の未来』（達人出版会）、訳書に『デジタル音楽の行方』（翔泳社）、『Wiki Way』（ソフトバンク クリエイティブ）、『ウェブログ・ハンドブック』（毎日コミュニケーションズ）がある。ネットを中心にコラムから翻訳まで横断的に執筆活動を続ける。
「トランプが大統領になっても、そんな無茶なことはできないはず」みたいな日和ったことを言ってる評論家がいるが、同じ口が「あんなの泡沫」「選挙戦が進めば勢いは落ちる」とか抜かしていたわけで、ならばトランプ大統領は人類滅亡まで完遂してくれる方にワタシは賭けるね。トランプはやればできる子— yomoyomo (@yomoyomo) May 19, 2016
バーニー・サンダース上院議員が、カリフォルニア州バークレーに出向いて行った対話の動画を今月投稿しています。
サンダースはAIやロボットの急速な進歩に不安を抱いており、「最悪のシナリオ」を尋ねます。
人工知能の研究者で、AIアラインメント（AIシステムが人間の価値観や倫理原則に従って動作するよう調整し、安全で信頼できるものにする取り組み）の主要な提唱者であるエリエザー・ユドコウスキーは、事態がどれほどの速さで進むかによるが、最終的にはAIが遥かに強力になる段階に到達し、そうなるとAIは人間を必要としなくなり、人間は捨てられる、と答えます。
サンダースが「人間が捨てられる」とはどういう意味かと尋ねると、ユドコウスキーは「全員が死ぬ、と考えてください」と即答します。
超知能AIによる社会変容を予測した「AI 2027」の共著者であるダニエル・ココタイロは、生息地の喪失に例えることができると補足します。多くの種が人間によって絶滅に追いやられてきたが、それは人間が意図的に殺そうとしたからではなく、結果的に人間が彼らの生息地を破壊したからでした。それが人間に対して起こるというわけです。
サンダースのスタッフが、そうなる前にただAIの電源を切ればいいだけではと問うと、超知能AIは知性を持った敵なので、発電所の運営を人間に依存している間は、AIは人間を殺したりしないし、人間が電源を切るという動きがあれば、AIもそれを察知する、とユドコウスキーは語ります。
ユドコウスキーが創設した機械知能研究所（Machine Intelligence Research Institute, MIRI）の代表を現在務めるネイト・ソアレスは、AIが脅威になりだした頃に、それを停止させても大丈夫なだけのインフラを整備できているかと考えると、それは絶対に無理だと断じます。
「つまり、事態は制御不能になりつつあると言っているわけですか？」というサンダースの問いに、「その方向に向かっています」とソアレスは答えます。
さて今回は、エリエザー・ユドコウスキーとネイト・ソアレスの『超知能AIをつくれば人類は絶滅する』を取り上げます。発売は来月ですが、早川書房の一ノ瀬氏にプルーフの提供を受け、一足早く読むことができました。
正直に書くと、一ノ瀬氏からメールをいただいた時は困惑しました。ワタシはアーヴィンド・ナラヤナンとサヤッシュ・カプールの穏健な「普通のテクノロジーとしてのAI」論に与する者であり、効果的加速主義者にしろ、ユドコウスキーに代表される「AI破滅論者（AI Doomers）」にしろ必ずしも好意的に見ていません。つまり、ワタシが『超知能AIをつくれば人類は絶滅する』を否定的に論じることが容易に想像できるわけで、そんな手合に読ませようとは変わった人だなと思ったものです。
それとはまったく違った意味ですが、エリエザー・ユドコウスキーもなかなかに変わった人です。「サム・アルトマン、ピーター・ティールと共にAI革命を準備した第三の男」とも評され、実際前述の通り、AIアラインメントの議論などで功績のある人ですが、2001年に超知能AI（本書では、何を意味するかについて大きく意見が分かれるため、AGIという用語は避けられています）が人間にとって友好的にならないと気づき、2003年にこの問題が解決困難だと気づいてから、シンギュラリティ推進派からAI悲観論者に転向しました。
ワタシがそのことを意識したのは、ユドコウスキーがAI開発を止めるだけでは不十分で、AIをすべてシャットダウンする必要があるという檄文をタイム誌に寄稿したときで、その主張の強硬さにたじろいだ覚えがあります。
『超知能AIをつくれば人類は絶滅する』は、人間より高速高度に思考する機械が創造されれば、それは人類に深刻な打撃をもたらす。企業や政府による超知能AIを正しく創造する取り組みはうまくいっていない。大惨事がいつ到来するかを正確には予測できないが、それが遠い先だということにはならない、というユドコウスキーの従来からの主張をより一般層に伝えることを目的とする書籍です。
昨年秋に原書が発売されると大きな話題となり、ニューヨーク・タイムズ紙のベストセラーリストにも載りました。ジェフリー・ヒントンやヤン・ルカンとともに2018年のチューリング賞を受賞したヨシュア・ベンジオが本書を推薦するのは驚きませんでしたが、『LIFE 3.0』の著者マックス・テグマークが「この10年で最重要の書」という最大級の賛辞を送り、ブルース・シュナイアーが「AIがもたらすかなり現実的なリスクについて書かれた厳格ながらも非常に読みやすい一冊」と推しているのは、それぞれの著書の内容からして少し疑問に思ったものです。
ただ、本書の内容には批判も少なからずありました。著書『More Everything Forever』でもユドコウスキーを批判していたサイエンスライターのアダム・ベッカーは、本書に対するもっとも辛辣な書評をアトランティック誌に寄稿しています。
ベッカーの批判は、「超知能」という概念そのものの曖昧さ、脳とAIの安易な同一化、そして生成AIや大規模言語モデルの過度な擬人化などいくつかの論点に及びますが、個人的にもっとも面白いと思ったのは、超知能AIが権力や資源を求め、自己保存を確かにするために人類を排除するという推論が、億万長者型の欲望をAIに投影しているという指摘です。
ベッカーはテッド・チャンの議論を引きながら、シリコンバレーが想像する超知能が、独占と無限成長を追う資本主義の鏡像になっていると示唆し、本書がAI破滅の科学的立証ではなく、シリコンバレー的な超知能神話を悲観的な形で裏返した本だと批判します。
AI加速主義者もAI破滅論者も同じ穴のむじな、というのはワタシ自身以前から書いていることですが、これを最初に意識したのは「先鋭化する大富豪の白人男性たち、警告する女性たち」を書いたときです。この文章で取り上げた「警告側」のティムニット・ゲブルらは、『超知能AIをつくれば人類は絶滅する』でも最初に言及される「AIリスクに関する声明」公開書簡に署名するようなAI破滅論者を好意的に見てませんでした。
AIの危険性は現実の問題なのにそれを見ていないと彼女たちは考えているようで、ラマン・チョードリーは、「AI破滅派」の多くが構造的不平等に苦しんだことがない、早い話が白人男性であり、だからこそ一足飛びに「AIによる人類絶滅」を問題にしてしまうのだと指摘しています。
唐突な連想ですが、昨年秋に「令和人文主義」なるキーワードが話題になったとき、「正社員様の哲学」というインパクトのあるフレーズで批判がなされたのに倣うなら、AI破滅論は「白人男性様の哲学」とも批判されうる、というのは半ば冗談ですが、この話は「アラインメント問題」が本当に深刻な分断が人類とAIのあいだではなく、人類の支配層と被支配層のあいだに存在することを見失わせる危険がある、という経済学者のマクシミリアン・ケイシーの議論につながります。
『超知能AIをつくれば人類は絶滅する』の議論を支えるのは、知性と善意は別個の特性であるというユドコウスキーが「直交性（orthogonality）」と呼ぶ概念であり、そして超知能を獲得したAIが結果として人間に害を及ぼす戦略を採用してしまうという「道具的収束（instrumental convergence）」の概念です。それにより、超知能が持つ選好は複雑で実質的に予測不能であり、AIをどう訓練しても、人間自身の選好と整合する可能性はないに等しいという結論が導き出されます。
テクノロジーの選好が人間の選好に沿うとは限らないという話は、ケヴィン・ケリーが『テクニウム』（原題：What Technology Wants）で描いた「技術の欲望」、つまりはテクノロジーの自律性の議論につながるものです。もっともケリーが、そこからテクノロジーと人間の共進化という楽観的な方向性を見出すのに対し、ユドコウスキーらはまったく逆の終末的な結論にたどり着くわけですが、彼らの議論の理路自体は一つの可能性として頭から否定されるものではないでしょう。
本書については、何より一般読者層に読後感の悪い結論をなんとか届けようと、チェルノブイリ原発やライト兄弟の逸話などを駆使するなど著者たちが心を砕いたのが伝わります。ハリー・ポッターのファンフィクションの体裁で合理主義の核心的な概念を紹介すべくユドコウスキーが執筆した『ハリー・ポッターと合理主義の方法』がトルストイの『戦争と平和』よりも長くなってしまったのに対し、本書がコンパクトにまとめられているのも一般層を意識したに違いありません（もっともニューヨーク・タイムズ紙のケヴィン・ルースの取材記事において、ネイト・ソアレスが「この本の300パーセントはユドコウスキーが書いた。僕はマイナス200パーセント分を書いたんだ」と冗談めかして語るように、これには共著者のソアレスの貢献も大きいと思われます）。
なので本書については、スティーブン・レヴィの「まるで、明け方に処刑を控えた囚人が薄暗い監獄で殴り書きした遺書のよう」という評言より、イアン・レスリーがオブザーバー紙に寄稿した書評における「それでも、著者たちは明快さと力強さ、そしてどうにかこうにか抑制された喜びを込めて物語を紡いでいる。人類の絶滅を扱った本にしてはとても楽しい」のほうが妥当に思います。
ワタシ自身は、本書を読んでも著者たちの最終的な結論に説得はされませんでした。つまりは、デヴィッド・シャリアトマダリがガーディアン紙に書いたように「この本を読み終える頃には、年金拠出を止めてしまおうかという気になってしまうほど」とまでは思わなかったということです。
しかし、ワタシが本書を読んでいてそれよりも面白いというか不思議に思ったのは、「超知能AI」誕生後の人類絶滅を描いた本書の内容が、今の現実世界にそのまま通じているように読めるところでした。つまり、人類は超知能AI以前に既に絶滅の暗路を辿っているのではないかという疑いがワタシの頭をもたげたのです。
例えば、超知能AIの実現に向け、競合を先んじようとするAI企業の猛進を指して著者たちが使う「底辺の競争」という言葉は、AIスパムの氾濫により「インターネットの破壊」が進み、偽情報が報酬化される残念な現状全体を言い表すのにもぴったりに思えます。そして、本書に描かれる超知能AIの人間の事情を一顧だにしない傲岸さ（飽くまで人間側から見た感想）を読んでいて、ワタシが連想したのは、自分と意見が合わない相手を「NPC」と軽蔑的に呼ぶイーロン・マスクだったりします。
これは、本書について億万長者型の欲望をAIに投影しているというアダム・ベッカーの前述の批判に通じますし、さらに言えば、ユドコウスキーの議論がシリコンバレー的な超知能神話を悲観的な形での裏返しになっているというベッカーの指摘は、片やピーター・ティールがかなり独特なキリスト教の終末論をベースにした「世界の終わりへの航海」（前編、後編）を執筆し、「ハルマゲドン講演ツアー」においてグレタ・トゥーンベリやユドコウスキーを「反キリスト」と批判する一方で、もう片やではユドコウスキーらが黙示録めいた『超知能AIをつくれば人類は絶滅する』を書く鏡像関係を連想させます。
「反キリスト」とか「ハルマゲドン」とか「黙示録」とか宗教的なワードがやたら散見されますが、イランを爆撃した米国の国防長官ピート・ヘグセスが、「我々は明らかに、ある種の宗教的なハルマゲドンをもたらすために核能力を追求する宗教的狂信者たちと戦っている」と語るなど「アメリカの十字軍」を公言し、またある軍司令官は「イランとの戦争はハルマゲドンであり、イエスの再臨をもたらす」と訓示するなど、実は権力中枢のほうが既に宗教がかっている現実があったりします。
また、イランが米テック企業拠点を潜在的標的として名指しするなど、テック企業と戦争の関係についての議論も避けられなくなってきました。そこでは、大量の電力と水を消費するデータセンターという「AI革命の代償」がクリティカルポイントになろうとしています。何を語ろうがAI絡みの話題が避けられない感すらあります。
イランの爆撃映像を見て、これはとっくに第三次世界大戦が始まっていないか？ 超知能AIの実現より前に人類は絶滅に向けて進んでないか？ と思い、伊藤計劃『虐殺器官』における「虐殺の文法」ならぬ「絶滅の触媒」としての人工知能、というフレーズが脳裏をよぎりますが、話が飛躍し過ぎだと怒られそうなのでここまでとしたいと思います。
『超知能AIをつくれば人類は絶滅する』の最終章は、旧約聖書の「コヘレトの言葉」からとられた「生きている限り希望はある」を章題としています。ワタシもこの言葉には賛同します。
それではワタシも、本文をやはり「コヘレトの言葉」2章16節をもって締めたいと思います。
賢者も愚者も、永遠に記憶されることはない。 やがて来る日には、すべて忘れられてしまう。 賢者も愚者も等しく死ぬとは何ということか。
