少し前に佐々木俊尚氏の「オープンなウェブ世界とジェネレーティブAIの終わりなき戦いが始まる」という記事を読みました。自分の電子書籍に『もうすぐ絶滅するという開かれたウェブについて』というタイトルをつけたワタシ的にも、オープンなウェブが生成AIに脅かされるという話は興味があるのですが、今年はじめに読んだ、Oughtでプロダクトデザイナーを務めるマギー・アップルトンの「拡大する暗い森と生成AI」を思い出しました。

昨今この分野は動きが速く、半年前の文章でも随分昔に思えたりするものですが、都合良いことに、4月にトロントで開催されたCausal Islandsカンファレンスでマギー・アップルトンが「拡大する暗い森と生成AI」について内容をアップデートした講演を行っており、その動画が先月公開されていますので、今回はそれを取り上げたいと思います。

さて、インターネットを「暗い森」に最初に喩えたのは、Kickstarterの共同創業者であるヤンシー・ストリックラーです。これは世界的ベストセラーとなった劉慈欣『三体Ⅱ 黒暗森林』に登場する「黒暗森林理論」をインターネットに当てはめたものです。

「黒暗森林理論」は、地球外文明が存在する可能性は高いのに、現在までそうした文明からの接触がない矛盾を指す「フェルミのパラドックス」に対する劉慈欣による仮説です。

劉慈欣は宇宙を夜の森に喩えます。夜の森では何も動くものは見えませんが、だからといってそこに生き物がいないわけではありません。捕食者につかまらずに生き残るために身を潜めているのです。宇宙においても、地球以外に生命体がいないように見えるのは、他の知的文明は滅ぼされてしまったか、あるいは身を潜めることを学んだからというわけです。

ヤンシー・ストリックラーはこれを2019年時点のインターネットにあてはめ、ウェブがボットなどの自動化されたクリック稼ぎのコンテンツに満ち、人間がいないように感じられること、そして、ウェブのパブリックスペースで不用意に何か発信すると要らぬ反感を買って炎上し、個人攻撃に晒される事例が多く、おのずと公開の場から足が遠のいてしまったと認めます。

苛烈なネット炎上については、ジョン・ロンソン『ネットリンチで人生を破壊された人たち』に詳しいですが、マギー・アップルトンは、Twitterで炎上の対象になることを指す「主役になる（main charactered）」という言葉があること、毎朝庭でコーヒーを飲みながら愛する夫と会話をゆっくり楽しんでいるというある女性の他愛ないツイートに対して、自らの境遇をぶちまける怒りのリプライが大挙して押し寄せた悲惨な事例を紹介します。

Twitterが、いきなり知らない人から汚い言葉を投げかけられたり、前後の発言も読まない文脈を理解しない反応やジョークにマジレスされる騒々しく、愚かしく、S/N比の低い場所になってしまったという嘆きは今に始まった話ではありませんが、イーロン・マスク買収後に怒りと敵意に満ちたツイートの表示が増加するようアルゴリズムが変更されたと言われるTwitterでは、その脅威の度合いも高まっていると思われます。

「暗い森」と化したウェブにおいて、捕食者に襲われる危険を逃れながら個人的な交流を望む人は、森で生き物が地中や木の上に隠れるように、招待制のSlackチャンネル、Discordグループ、ニュースレター（メルマガ）やポッドキャスト、チャットアプリ、といった検索エンジンにインデックスされず、最適化されず、ゲーム化されない環境に潜りつつあります。

そして、マギー・アップルトンは、ChatGPTをはじめとする生成AIがウェブの「暗い森」をさらに広げることになると論じます。

人間が書くようなまとまった文章を瞬時に生成できる大規模言語モデルには欠点もありますが、「プロンプト・チェイニング（prompt chaining）」など言語モデルのプロンプトをより高度にする手法、そしてLangChainなどのそれを容易にするフレームワークが、言語モデルの弱点である最近の出来事に関する知識や長期記憶の欠如、他のデジタルシステムとの相互作用のなさを解決してくれます。

4月に発表された「生成エージェント（Generative Agents）」論文によると、読み書きできる長期記憶データベース、経験を振り返る機能、次の行動を計画する機能、ゲーム内の他のシムエージェントとの交流といった機能を備えたAIエージェントを仮想の町に放った結果、リアリティーのある個人と社会的行動を作り出すことに成功したとのことです。

近い将来、我々はウェブ上で生成エージェントと実際の人間の違いを見分けられなくなるでしょう。そして、生成AIにより、ウェブ上でコンテンツを作成し公開するコストはほぼゼロになっています。人間がコンテンツを作るには、調べたり考える時間が必要ですが（ついでに言えば、食事や睡眠やシャワーの時間も）、生成AIはそれを必要としません。

かくして、安価で使いやすく、高速に無限に近い量のコンテンツを生成できるAIが、オープンなウェブで我々を情報のゴミの海に押し流すとマギー・アップルトンは予測します。もちろん現在も、スパムなど低品質なコンテンツをフィルタリングするツールはありますが、生成AIが生み出せるコンテンツの質と量を考えれば、ノイズからシグナルを見出す防御システムがそれに追いつくには数年かかるというのが彼女の見立てです。

「As an AI language model」という定型句に着目することで、この「AI製スパム」が既に急増していることが分かりますが、生成AIを活用すれば、スパムコメントといったしょぼいレベルに留まらず、本の著者が新作を宣伝したいと思ったら、生成エージェントに指示するだけで、あとはAIが各種ソーシャルメディアにアカウントを作成して、それぞれに最適化した宣伝投稿を行い、Mediumに本の抜粋を公開し、毎週ニュースレターを配信し、読み上げ音声を使ったポッドキャストを配信、中毒性のあるTikTok動画やらYouTube用の24のパートからなる動画シリーズを――と人間一人では到底できない量の宣伝コンテンツを作り出せるでしょう。

Amazonのグラビア写真集が「AI生成だらけ」で、Spotifyでも“AI汚染”が起こっているという話は、そうした未来が間近なのを実感させてくれますが、そうなれば、人間同士のつながりを促進したり、集団的なセンスメイキングや知識の構築を追求したり、我々の知識を現実に即したものにするためにウェブを利用するのはお門違いになりそうです。

しかし、ベンチマークを見る限り、たいていの場合、言語モデルは大部分の人間よりも正確で知識も豊富です。つまり、既に生成AIは我々の多くよりも優れた書き手なのです。それなら、生成AIに作られたコンテンツが増えるほど、ウェブは我々にとってより信頼性の高い、価値のある場所になるのではないでしょうか？

しかし、言語モデルによって生成されたコンテンツと人間が作ったコンテンツに、主に三つ重要な違いがあります。

それは、人間なら自明なものとして把握するコンテンツの現実との兼ね合い（生成AIがそれを踏み外して結果が「ハルシネーション」）、人間が自然と意識する社会的文脈（知識は社会的文脈のないところでは存在しません）、そして人間関係の可能性（映画『Her』を思い出しましょう）という三点をAIは持たないものです。その生成AIによって作られるコンテンツは、リアルで充実した人間関係を促進はできない、とマギー・アップルトンは断じます。

それを踏まえた上で、マギー・アップルトンは今後5年間ほどの展開を予測しているのですが、これからは高度に生成されたコンテンツやエージェントで埋め尽くされたウェブ上で、自分が言語モデルではなく人間であることを証明する「逆チューリング・テスト」が行われるようになるという話に苦笑いしてしまいますが、生成AIコンテンツが全体的なアウトプットを底上げし、凡庸な仕事を人間から引き継ぐ代わりに、人間に求められる基準が高くなるという話は確かにありそうです。

マギー・アップルトンは、言語モデルが、ウェブ上のテキストを再利用し、一部の人間がそれを読んでリサイクルし、それが他の言語モデルを訓練する材料となり、一般的なアイデアや議論、決まり文句、思考法を何度も何度もリサイクルするというサイクルを「ムカデ人間の認識論」と表現しますが（言うまでもなく、これは映画『ムカデ人間』に由来します）、そうした劣化のループから抜け出るには、客観的な現実を「三角測量」できる人間ならではの、独創性、批判的思考、そして洗練が必要になります。

そして、マギー・アップルトンは、オンラインにいる「人間」が疑わしくなるにつれ、サイバースペースならぬ「ミートスペース」、つまりはオフラインで実際に顔を合わせる価値が高まる可能性を予測しています。

これもコロナ後の都心回帰にも合致する流れに思えますが、マギー・アップルトン自身認めるように、都市部に引っ越すことができなかったり、定期的に外に出て人に会えない人、つまりは、障害を持つ人、幼い子供を持つ親、介護者といった人たちは不利になりますし、ウェブが本来持っていた、人間同士をつなぎ、平等にする力の多くが失われることにもなります。

またコンテンツが言語モデルでなく人間によるものを証明する方策として、マギー・アップルトンはブロックチェーンを利用した真正性のチェックの可能性を提示します。つまり、ある第三者がある人の人間性（その人が人間であること！）を確認した上で、その人のオンラインコンテンツを署名するための暗号鍵を割り当て、コンテンツがその人のアイデンティティにリンクされるというわけですが、（疑似的な）匿名でのネット利用者には不向きという問題があります。

一例として、マギー・アップルトンは仮想通貨Worldcoinによる、グローバルな人物証明を目指す「ワールドID」プロジェクトを紹介していますが、Worldcoinの共同創始者がOpenAIのサム・アルトマンというのは、面白い符合といえるでしょう。

そして最後にマギー・アップルトンは、いずれ我々は「生のウェブ」ではなく、パーソナライズされたモデルでフィルタリング、キュレーション、そしてファクトチェッキングされたウェブと接するようになると予測しています。

「フィルタリングされたウェブ」がデフォルトになり、そのモデルフィルタはブラウザやOSレベルに組み込まれることになるでしょうが、その設計は慎重に行われる必要があります。さもなくば「フィルターバブル」にまったく新しい意味を加えてしまいます。

マギー・アップルトンは、大企業がウェブの暗い森をさらに拡大する製品、要は事実確認や批判的思考なしにいたずらに大量のテキストを量産するツールに当然ながら批判的ですが、それなら生成AIを活用してどんな製品を作るべきか？ 彼女は以下の三つの原則を提示します。

1. 人間の行為者性（意思）を保護する
2. 言語モデルを真理の源ではなく、ちっぽけな推論エンジンとして扱う
3. 人間の認知能力を代替するのではなく補強する

理想的には、人間とAIエージェントが共同作業を行うパートナーとなる「ヒューマン・イン・ザ・ループ」システムということになるでしょうか。

三番目に関連して、言語モデルは人間が苦手な検索や発見、キャラクターのロールプレイ、膨大な量のデータの迅速な整理と合成、ファジーな自然言語入力から構造化された出力への変換を得意とし、一方で人間は言語モデルが苦手な物理的現実と主張の照合、長期記憶と一貫性、経験に基づく知識、社会的文脈の理解、感情的知性が得意なのだから、お互いの得意と苦手を補強し合うべきというマギー・アップルトンの視座は、この講演の印象を前向きなものにしています。

ロボットを動物のようにとらえ、我々人間のスキルを補完してくれる仲間と考えるべきと主張するケイト・ダーリングの『The New Breed』を引き合いにして、言語モデルを我々人間と一緒に働き、我々の認知能力を増強してくれる新しい仲間に喩えているのも同様です。