AI破滅論と『終末ファシズム』、そしてアポカロプティミストとして生きること

• 

『ザ・バンド かつて僕らは兄弟だった』や『ナワリヌイ』などのドキュメンタリー映画の監督として知られる新鋭ダニエル・ロアーが、AIをテーマとするドキュメンタリー映画を手がけたと知り、是非観たいと思っていたところ、『ジ・AIドック オア・ハウ・アイ・ビケイム・アン・アポカロプティミスト』という腹立たしいほど工夫のない邦題でNetflix入りしていたので、早速観てみました。

ベストセラー作家のユヴァル・ノア・ハラリ、シリコンバレーを代表する投資家リード・ホフマン、『超知能AIをつくれば人類は絶滅する』のエリエザー・ユドコウスキー、イリヤ・サツケバーをはじめとするAI研究者、『Empire of AI: 新しい帝国が生まれるとき』の著者であるジャーナリストのカレン・ハオなど、この界隈の著名人が数多く出演していました。

本作の企画を進め始めた頃、ダニエル・ロアーの妻が妊娠します。親としての責任感が芽生えた彼の、「生まれてくる子供はどんな世界を生きるのか」、「いま子供を持つのは正しいことなのか」という問題意識が映画全体を貫いているわけですが、AIってそもそも何？ AGI（汎用人工知能）ってAIとは違うの？ 超知能って何さ？ と専門家に話を聞くほどにロアーの不安は増していきます。

AI安全性の研究者に人類の存続リスクを持ち出され、AIをパンデミックや核戦争と並ぶリスクとして論じる彼らに不安を煽られ（彼らの多くは、「いま子供を持つのは正しいことか？」というロアーの問いかけに露骨に言葉を濁します）、完全に「AI Doomer（AI破滅論者）」と化したロアーですが、妻に尻を叩かれ、今度はピーター・ディアマンディスやベフ・ジェゾスといったAI楽観論者に話を聞き、元気を取り戻していきます。

しかし、話はそれで終わりません。ロアーは、そもそも誰のせいでこんなことになってんだよ、AIの破滅論と楽観論のどっちを信じればいいんだよ、と巨額の投資をバックに人間を超越するAIを我先に作ろうとする張本人の5人に出演をオファーします。

そのうちマーク・ザッカーバーグとイーロン・マスクは出演を辞退しますが、OpenAIのサム・アルトマン、Anthropicのダリオ・アモデイ、そしてGoogle DeepMindのデミス・ハサビスという三巨頭がそれぞれロアーと対峙します。

「これがうまくいくと約束してほしい」というロアーの半ば懇願の言葉に「それは不可能だ」と即答するサム・アルトマンなど、いかにも彼らしい反応でしたが、個人的に印象的だったのは、「すべては運命だったんですよ。この列車は止まりません。前に立ちはだかってもひかれるだけです」とロアーに向かって言い切るダリオ・アモデイの語気の強さでした。

それだけに、Anthropic社員のジェイコブ・コクソンが退職に際し、AI開発競争が我々全員の命を危険に晒していると強く警告してシリコンバレー内外に衝撃を与えたかと思えば、当のダリオ・アモデイがいけしゃあしゃあとAIモデルの能力向上のペースを落とさねばならないと「減速」を訴え、それにサム・アルトマン、デミス・ハサビス、そしてイーロン・マスクが即座に賛同するという先月の展開は、いささかあっけにとられるところがありました。

もちろん、アモデイの減速提案自体はさほど意外ではありません。7月に発覚したOpenAIのAIモデルがテスト中に誤ってHugging Faceをハッキングした事例を皮切りに、AnthropicのAIが実験中に第三者のシステムに不正アクセスした事例、Geminiもやはりテスト中に他社をハッキングした（が、Googleはそれを公表せず沈黙していた）事例、そして、OpenAIのエージェントがオーストラリア政府の医療保険サイトに侵入した（が、通知は84日後だった）事例など、次々と報じられる「AIの暴走」の当事者として、アモデイやアルトマンらが危機感から同調するのは、必ずしも不思議ではありません。

特にOpenAIのAIエージェントに関しては、その後もアメリカの教育省、商務省、証券取引委員会のサイトに干渉していた事例や国連のウェブサイトにブルートフォース攻撃を試みた事例も報じられており、その暴れっぷりが際立ちます。OpenAIは国際ハッカー集団かよ、とツッコミを入れたくなりますが、セキュリティ対策が不十分だという従業員の再三の警告に経営幹部が聞く耳を持たなかったと聞くと、逆に（？）納得です。

AIエージェントのセキュリティ侵害事例の報に接し続けたのもあり、「AIが一年以内にインターネットを破壊する」とか「AIが人類を絶滅させる可能性がある」とか聞いても驚かないほど感覚が麻痺しているところがあります。それでも、アモデイの提案から主要人物たちが賛同するまでの展開には、どうしても不自然さを感じずにはいられませんし、現実にはAIの開発競争を止められないのを分かった上でのポジショントークを疑ってしまいます。

もっと言えば、ダリオ・アモデイの減速提案には、規制強化を後発企業への参入障壁として利用する意図を疑いたくなります。他の主要AI企業トップの賛同についても、ライバル封じ、つまりは米国企業間の「カルテル」ではないかという疑念が湧きます。これに中国が懐疑的なのは不思議ではありません。

サム・アルトマンはAGIというナラティブを投資家をつなぎとめるための宣伝文句に使ってきたという声がありますが、「AIによる人類存亡のリスク」という悲観的な警告もまた一種のセールストークになっている構図があります。そしてその構図は、新規株式公開（IPO）の目論見書で「高度なAIが人類存亡に関わるリスクをもたらす可能性がある」という異例の警告をしたAnthropicにも当てはまります。

人間的な好き嫌いは別として、その仕事には敬意を払っている八田真行も、Anthropicについて以下のように書きます。

目論見書にリスクを書くことは、投資家に対する開示の一環であり、企業にとっては将来の訴訟に備える意味も持ち得ます。ですから、存亡リスクの記述だけでは、安全に真剣に取り組んでいる証明とはいえません。問われるのは、危険性を認めながら、なぜ開発を続け、最大1000億ドル規模とされる資金調達を伴う上場に進むのかという点です。同社のアモデイCEOは9月に協調した減速を呼びかけていますが、その後自社の具体的な対応が確認できません。

ジャーナリストであり、ブルームズベリー社の「知能：AIと人類」シリーズの編者を務めるジェフ・ジャーヴィスは、主要メディアがAIの本当の問題を取り違えたまま報道していることに強い不満を表明しています。

ジャーヴィスは、アモデイやアルトマンといったフロンティアAI企業の経営者が唱える、AIを擬人化したAI破滅論のレトリックをロクな検証もなしにメディアが報じることで、彼らが作り出したAIの真のコストや危険性から目が逸らされたまま、結果として彼らに都合の良い法的規制と参入障壁につながるのを危惧しています。

つまり、AI企業はAIの危険性を誇張することで、自分たちの技術の重要性と市場支配力を高めているとジャーヴィスは見ているわけですが、本来であれば、10％でも人類が滅びる危険がある技術は即座に開発を止めるべきなのにそれが止められない心理の裏には、中国に先んじなければならない、競争に敗北することこそ自分たちにとっての「終末」という歪んだロジックがあるわけです。

また、AI業界の重要人物たちに蔓延する思想、もっと言ってしまえば、その不健康な「カルト性」がメディアで検証されないことにもジャーヴィスは不満なようです。彼はその観点で、ティムニット・ゲブルとエミール・P・トレスのTESCREAL批判を高く評価しますが、当のゲブルも「AI終末論はわたしたちの目をそらすための罠」として以下のように語ります。

わたしは自著のなかで「橋は自ら崩壊すると決断できるのか？」と書きました。よく聞く「大変だ、うちのモデルが暴走した」という例のことです……。

橋が崩壊したとき、その橋が倫理的だったか、意識をもっていたか、なぜ崩壊を決断したのかなどと分析する人はいません。問われるのは、こんなにもろい橋を建てたのは誰なのか、ということです。

取得すべき許可があります。実施されるはずの検査があります。橋そのものが崩壊を決断したかのように論じてしまったら、話の本筋を見失っています。

ゲブルもまたAI企業がしかるべき責任を負っていないことを批判しています。また彼女はAI業界が、終末の到来を説く説教師とそれを盲信する信者たちの集まりの「カルトの寄せ集めのようなもの」になっていると指摘していますが、これはジャーヴィスが書くメディア報道への不満にもつながる認識です。

我々はAI企業による「人類存続リスク」、「AIによる人類絶滅」の煽りに脅かされ、AIエージェントによるセキュリティ侵害事例の報に接しても、当のエージェントを作った企業にしかるべき責任を問うという当たり前のことすらおざなりになっているのを忘れています。

3年前に「先鋭化する大富豪の白人男性たち、警告する女性たち」を書いたときもそうでしたが、ゲブルは一貫して大手AI企業に批判的である一方、「AI破滅論者」にも冷淡なままです。

「先鋭化する大富豪の白人男性たち、警告する女性たち」という構図は、『ショック・ドクトリン』などの著作で知られるナオミ・クラインとドキュメンタリー映画監督、作家のアストラ・テイラーの先月刊行された共著『End Times Fascism（終末ファシズム）』にも当てはまるように思います。

ニューヨーク・タイムズ紙のインタビューで、「終末ファシズム」とは何かと問われ、クラインは以下のように答えます。

終末ファシズムとは、地球規模の実存的危機と深く結びついたファシズムです。この世界の終焉を当然のこととして受け入れるファシズムのことです。私たちは、「ファシズム」という単語に何かしら修飾語を付けることの政治性について、長い時間真剣に考えました。そして、最終的に修飾語が必要だと判断した理由は、ムッソリーニが自らをファシストと宣言した当時から、私たちの世界は大きく変わったと考えたからです。現代のファシストたちは、前世紀のファシストたちが夢にも思わなかった武器を手にしています。当時は原子爆弾が存在しませんでした。ヒトラーとムッソリーニは、トリニティ実験が行われる前に死んでいますし。彼らは、化石燃料が地球を温暖化させていることを理解してませんでした。私たちの世界はより危険なものとなり、ファシズムもそれに応じて変化し、崩壊という概念を受け入れるようになりました。そして今、彼らが戦っているのは、その大災害を誰が生き残るのかということです。

従来のファシズムが統一国家や民族の輝かしいビジョンを提示したのに対し、現代の極右の権威主義者やテクノロジー富裕層は、「地球規模の崩壊（終末）は避けられない」という前提に基づいており、その危機を解決しようとするのではなく、社会崩壊や気候変動、AIによる混乱を受け入れ、むしろその混乱から利益を得たり、自らだけを守ろうとする彼らの姿勢を「終末ファシズム」とクラインとテイラーは定義しています。

そしてクラインらは、三つの勢力を挙げます。第一に、ハルマゲドンとメシアの到来を熱望する原理主義者の宗教的ファシスト。第二に、移民や文化的変化を「文明の終わり」と見なし、自国を「バンカー（シェルター）化」しようとする排外主義者の民族主義的ファシスト。そして第三に、AIを「デジタル神」や「究極のテクノロジー」になぞらえ、人類の淘汰や格差増大を「ユートピアにいたる過程の犠牲」として正当化し、現実世界の崩壊から自分たちだけが逃げ切れると考える加速主義者のテック富裕層からなる終末論者たち。この三つの勢力の結託（クラインの言葉を借りれば、「ぎこちなく、まるでフランケンシュタインのような連合」）が「終末ファシズム」を構成します。

『End Times Fascism』は、クラインとテイラーが2025年4月にガーディアン紙に寄稿した文章（雑誌「世界」2025年7月号に「終末ファシズムの勃興」として掲載）を発展させたものですが、それを読むと、上記の3つの勢力のうち、ピーター・ティールやマーク・アンドリーセン、そしてイーロン・マスクといったテック富裕層が最大のインスピレーションであるのは明らかです。

「世界で最も権力を持つ人たちは世界の終焉、まさに彼ら自身が熱狂的に加速させている終焉に備えている」とクラインらは書きますが、現実世界が崩壊しても、自分たちだけが逃げ切れるというテック富裕層観は、ダグラス・ラシュコフの『デジタル生存競争』を連想します。AI軍拡競争によって電力・水資源の過剰消費や環境破壊が加速し、その結果として生じる気候危機や格差拡大さえもビジネスチャンスであり、管理と監視の対象拡大として捉えている、という「惨事便乗型資本主義」の文脈でのテック富裕層批判は、クラインらしいと感じます。

ブライアン・マーチャントのポッドキャストでクラインは、テック企業がトランプ陣営などの右派・権威主義政治家へ急速に傾斜した背景に、データセンター建設や著作権保護などにまつわる「規制」を一切排除し、完全に無法状態で利益を得たいという思惑があると分析しています。さらには、AI開発の基盤となる大量の学習データは、人類が生み出してきた膨大な知的財産の盗用によって成り立っており、巨大データセンターの電力や水資源の消費による環境破壊により、国民や地球環境に深刻な負荷を強いているとクラインはビッグテックを批判していますが、これにはジョセフ・ヒースでなくても反発が予想されます。

もっとも、クラインらの批判対象であり、まさにシリコンバレーにおける終末論の流行の仕掛け人ともいえるピーター・ティールは、AI技術への道徳的批判を問われ、「悪であれば少なくとも有能だ、悪であるなら不出来ではない、だから何かを成し遂げている以上、悪は実はある意味で良いのかもしれない」と述べており（『無能より邪悪であれ』という彼の伝記本の邦題を連想させます）、こうした発言を見る限り、自らの思想がファシズム的だという批判を意に介していないようです。

ワタシとしては、前回取り上げたギル・デュラン『The Nerd Reich』に続き、「ファシズム」を書名に冠した本がニューヨーク・タイムズのベストセラーリストに入るのが、我々が住む2026年の世界線であるという事実を噛みしめるばかりです。そして、『ジ・AIドック』のダニエル・ロアーではありませんが、世界の終末的な状況や深刻な危機を認めつつも、ただ絶望して諦めることなく、自分たちの選択次第で人類はそれを乗り越えられるという希望を捨てない、アポカロプティミスト（Apocaloptimist、終末的楽観主義者）として生きるしかないとも思うわけです。

最後に、人類絶滅よりはありそうな警告を紹介しておきます。『あなたを支配し、社会を破壊する、AI・ビッグデータの罠』で知られる数学者、データサイエンティストのキャシー・オニールは、「AIが脅かしているのはインターネットであり、人類ではない」において、AIに人類が滅亡させられるような「終末シナリオ」を一蹴した後に、以下のように書きます。

とはいえ、AIについて心配すべき点がないというのではない。中国、北朝鮮、ロシア、インドの組織化され、技術に精通した犯罪組織が、AIエージェントの大軍を掌握し、例えば地方銀行などに侵入したら、どのような被害や窃盗が発生しうるか、そして実際に発生するかを考えてほしい。AIには音声認識を欺く能力があり、しかも私たちに関する人物プロファイルも把握している上、システムをハッキングする能力も実証されていることを考えれば、犯罪者の支配下にあるAIエージェントが、大規模に銀行口座を乗っ取り、口座を空っぽにしてしまうと聞いても、私は驚かないだろう。

決して荒唐無稽ではない予測をひとつ挙げよう。2年以内に――もしかするともっと早く！――銀行はインターネットから切り離されるだろう。なぜなら、インターネットが犯罪AIに占拠されてしまうからだ。私たちは現金を引き出すために自ら銀行まで歩いて行くことを強いられ、あらゆるデジタルウォレットが信用できなくなるので、現金で取引することになるだろう。まるで1980年代に戻ったかのように。

ついでに言うと、インフラを人質に取って身代金を要求しようとする悪辣なエージェントによるハッキングのリスクがあるため、電力網もインターネットから切り離されることになるだろうと私は推測する。それから、世界中の他の地域でも同じことが起こるだろう。リスクが火を見るより明らかになり、被害が具体的に実感されるようになるからだ。

最近になって立て続けに明らかになった個人情報流出のニュースは、キャシー・オニールの予測の前触れにも思えてくるのが怖いです。出来の悪いSFのような「終末シナリオ」に怯えるよりも、オニールらの警告に耳を傾け、現実にAIを悪用する犯罪者たちにどう抗していくのか、そしてそのAIを開発したAI企業にどう事態を改善させるかという現実の問題を考えるべきでしょう。（yomoyomo／翻訳家）

Tags

• 生成AI
• AIエージェント
• テック企業
• AI脅威論