3月14日の早朝、GPT-4が公開され、筆者は早速試した。
その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。

その上で、先週書いた記事の内容についての確信が深まった。

やはり、GPT-4は期待を超えてはこなかった。
GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。

100倍規模のパラメータがあっても、アプローチには限界があるのである。
また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(LLM)もにわかに活況を呈してきた。
GoogleはGoogle AppsにLLMを組み込むことを発表し、Microsoftは既にBingで先行しつつ最大のキラーアプリであるOfficeシリーズにも積極的にLLMを統合すると発表した。

この辺りのことは全て数百億円規模の大規模計算クラスターを持っている会社しか参入できない。
まさに「ビッグテック」だけに許された戦いということになるのだが、一方で草の根のコンピュータカウボーイ達も黙ってはいない。

MacのM2 Maxプロセッサで大規模言語モデルを動かす猛者が現れたり、高価なGPUの利用を最小限にして大規模言語モデルの動作を100倍高速にするFlexGenが登場したり、計算量をTransformerのN*NからN*logNへと劇的に減らして10000トークン以上の推論で100倍高速になる新しいアルゴリズムHyenaが現れたり、さらには計算量が多く複雑な16ビット浮動小数点数から8ビット整数、さらには4ビット整数への量子化を行うことで精度を落とさず高速化するテクニックの発見など、この界隈がどんどん活気付いている。

特に4ビット整数でも精度が落ちないということのインパクトはすごくて、要はもとは32ビット浮動小数点数だったわけだから、情報量で単純に1/8になり、計算も浮動小数点数に比べれば整数の計算はかなり簡単になる。なにより、4ビット整数の計算ならば、乗算でも16パターンしかないので、実際に計算する必要はなくテーブルだけで処理するか、ハードワイヤードとしてワンチップ化することで高速化できる。

今まで誰も「4ビット整数の積和演算の高速化」など真剣に考えてこなかったのだから、半導体メーカーにとってももはや対岸の火事ではいられないだろう。僕がもしチップのアーキテクトなら、4ビット整数化された大規模言語モデルを動かすための専用の半導体を今から設計する。

半導体というのは設計からテープアウトまで数年かかるので、すぐにこういうものが市場に現れないだろうが、騒げば騒ぐほどそれが出現する確率は高まり、出現する時期は早まるだろう。

画像生成の分野でもINT8は常識となりつつあるが、INT4はまだ少し厳しいようだ。ただINT8でも回路の効率化はできそうである。

NVIDIAはいちはやくCUDAをINT4に対応させているが、そろそろ苦しくなってきたように見える。
そもそもNVIDIAはもともとコンピュータグラフィックスを処理する専用ハードウェアを作るために設立された会社であって、AIは「副業」だった。もちろん、今はむしろAIが本業になってきていると思うが、「リアルタイムレイトレーシングを行う」というコンピュータグラフィックスとしての目標と、「高速な学習・推論を行う」というAIとしての目標の両立はかなり難しくなってくることが予想される。

特に、AIの計算がレイトレーシングと同じような、「高精度、大規模」な計算が重要だった時代は良かったのだが、INT4の処理効率が大事となってくると、全く別の目的をもった二つの目標をひとつの半導体アーキテクチャでカバーしようという不自然さが生まれる。

この連載で繰り返し出てくる概念の「テクニウム」は、技術をひとつの「生物種」と見做してそれらが進化・交配・退化・淘汰する様を考える。

このメタファーを用いると、今のGPUは明らかに白亜紀のティラノサウルスのようになってきている。獰猛で、最強に近いが、巨大であるが故にある時突然滅んだ。

昔のNVIDIAのGPUのイメージは同じ肉食獣でもラプターのような、すばしっこく、小さいものだった。
今のGPUは巨大すぎるし、巨大で高価な割に実は脳が小さい。この場合の「脳」はVRAMの容量を言っている。

475万円する最新のH100チップは、わずか80GBのメモリー(VRAM)しか持たない。
普通に秋葉原で買えるDDRメモリーが8GB9000円で買えることを考えると、いくらなんでも高すぎる。

GPUのメモリーが高額になる理由は、もちろんそれだけ高性能なメモリーであり、高速に動作するし、GPUとの親和性が最大限まで高められているからなのだが、逆にいうとそれがGPUの限界を表している。

NVIDIAのGPUが使う高価なHBMメモリーを使わずに効率的にメモリーを増やしてNVIDIAのGPUよりも高速にTransformerを処理できるという触れ込みのSambaNovaのチップも登場してきた。

AI性能を高めるなら、HBMメモリはキャッシュとして使い、安価なDDRメモリーやCPUに統合されたユニファイドメモリーを使うなどの方が遥かに効率的だろう。ローカルでの学習はほとんど行われないと仮定すれば、高価な浮動小数点数演算機は不要で、INT8やINT4の積和演算に特化した計算ユニットを大量に積んだ方がいい。

だがこうしたアーキテクチャを採用することは、コンピュータグラフィックスを諦めることになる。

テクニウムでは、「どう考えてもいらない機能も統合される」という性質がある。
筆者はこれを「盲腸進化」と呼んでいる。

たとえば西暦1995年には、誰も3Dグラフィックス処理チップが"すべての"コンピュータに必要とは考えていなかった。
ところが3Dグラフィックスチップの競争が激化した結果、Intelのチップセットに「オマケ」として3Dグラフィックス機能が追加されることになった。

最初は「誰がこんなものを必要とするんだ」と思ったのだが、スティーブ・ジョブズは大胆に3Dチップの機能を使い、誰も見たことのないような衝撃的なルック&フィールのOS、OSX(現在のmacOS)を作った。

それどころか、携帯電話にすら3D機能が搭載され、やはり「何に使うんだ」と思われながらも、iPhoneで決定的に従来と異なるユーザー体験を実現した。

実際のところ、今、Macに搭載されているApple Siliconのニューラルエンジン(Neural Engine)は、ほとんど盲腸のようなものである。
セールストーク上、必要だから記載されているだけで今のところ目に見えて「ニューラルエンジンがあってよかった!」ということにはなっていない。もしかするとStableDiffusionを無理やりMacで動かそうという人には「あってよかった」と感じているかもしれないが、その動作はNVIDIAのGPUに比べると信じられないくらいのろい。

同様の理由で、NVIDIAのGPUに搭載されているTensorCoreも、ゲームを遊ぶことを目的に買うユーザーにとっては盲腸のようなものだ。
もちろんPCゲームの場合、なにかのきっかけで突然TensorCoreをフル活用したゲームが出現する可能性は常にあるので、常に完全に無駄とは言い切れないが、ゲーム用GPUがAMDとNVIDIAで二分されている今の状況では、NVIDIAのチップだけで動くゲームというのはよほどの技術的ジャンプがなければ生まれにくいだろう。

Diffusionモデルがもっと高速化されるかもっとマシなアルゴリズムが開発されて、秒間60枚くらいImage2Imageで出力できるようになれば、あるいはエフェクターとしてAIを使うゲームが出てくることも考えられる。

その意味では、NVIDIAは現状のまま二足の草鞋を履いていても、テクニウム的には正常な進化と言えるし、逆にSambaNovaのように、言語モデルの高速実行に特化したアーキテクチャが突然変異的に生まれてくるのも必然的な現象と言える。

SambaNovaはハードウェアの単体売りをしていないのでNVIDIAと直接は競合しないが、あれを使いこなせる会社はかなり限られるだろう。
でも僕ならNVIDIAのGPUに二次キャッシュとしてもっと大きなDDRメモリを統合するかな。CPU使ってヒープにアクセスすればいいじゃんという話もあるが、如何せん効率が悪い。それかCUDAが進化してFlexGenのようなオフロードをサポートするか。

NVIDIAのジレンマはできるだけ高価なチップを大量に売りつけたい、という要求が根底にあるため、「VRAMを節約して効率的なプログラミングをすることでGPUへの投資を抑えることができました」という話に全く魅力が感じられないことだろう。

ビックテック向けにはできるだけ新しくて高性能なチップをできるだけ高価格でできるだけたくさん売りたいという気持ちはもちろんわかる。
しかしそれ「だけ」だとAIの進歩は限定的になってしまう。

かつてコンシューマOSがWindows「だけ」に独占されていた頃、OSは果たして正しく進化しただろうか。
新バージョンの開発は、いかに「前のバージョンと違って見えるか(イコール、アップグレードしてもらえるか)」ということに力が注がれ、使いやすさという根本的な点を見失った結果、新しすぎてわけのわからないUIを採用しては、次のバージョンで元に戻るということを繰り返すことになった。

今や「一番多くの人」が使うOSは、Androidになった。「OS」と聞いてPCしかイメージできないようでは20世紀から進歩がない。今や最も普及したコンシューマ向け汎用コンピュータはスマホなのだ。

Androidが登場したことで、かなり市場は健全になったと思う。
Androidの場合、元からのUIとほかに、メーカー独自のホームアプリや、ユーザー独自のホームアプリの開発が可能になったからだ。

「新バージョンを売るため」の奇抜な機能変更はなくなり、「ユーザーに使い続けてもらうための」UI/UX設計に変わった。
スマホの買い替え動機となる成長エンジンは電池であり、電池がヘタって交換する必要がでたときに、どうせお店に行くなら「買い換えようかしら」と思うのである。髪型を変えたり、靴や鞄を買い替えるのと同じように、「気分を新しくするため」にスマホを買い替えるのだ。

僕は技術の進化はホビイストが牽引し続けるという仮説を強烈に信奉している。

特にコンピュータの技術はそれなくして発展し得ない。今、Androidで動いているOSの基礎を作ったのはヘルシンキの大学生が趣味として作ったカーネルであり、マサチューセッツ工科大学に居ついていたヒッピーが仲間たちと作り上げたツールチェインだ。そしてわれわれがiOSやAndroid、その他PCのブラウザからアクセスしてみているWebサイトのほとんど完璧に全ては、やはりヘルシンキの学生とボストンのヒッピーが作ったシステムの上で動いているのである。

プロによって作られたコードは消え去り、ホビイストたちの知の集合体がいまのコンピュータ世界を構築している。
かつてビル・ゲイツは、ジョブズとウォズが所属していたホームブリューコンピュータクラブというホビイスト団体に向けて「ホビイストへの手紙(Open Letter to Hobbyists)」を送ったことがある。ホームブリューコンピュータクラブはこれを会報に掲載した。反響が大きすぎたため、他のさまざまな雑誌にも掲載されることになった。

同時期にハーバード大学の学生だったビル・ゲイツはポール・アレンとともにMicrosoftという会社を創業した時だった。
奇しくもMicrosoftはこの頃から既に「ホビイストと、"自分たち"」を明確に分けていたということになる。

「ホビイストへの手紙」の主旨は、「ホビイストがMicrosoftBASICの対価を払わない」ことへの非難であり、ゲイツは自分達がBASICを開発するのに費やしたコンピュータの使用料金が4万ドルだと主張した。

しかしこの手紙は炎上した。学生が4万ドルのコンピュータ使用料を払うなんて馬鹿げている、あり得ないというのだ。
このゲイツの「手紙」は、奇しくもこの時、ホビイストとそうでないものを決定的に分断した。

DrDobb's Journalのジム・ウォーレンは、「ソフトウェアの盗用を防ぐには、それが無料であるか、複製するより安価に提供されれば良い」と指摘して、TinyBASICのプロジェクトを始めた。

Microsoftはこのとき北米でのビジネスに失敗した。少なくとも筆者が聞く限りはそうだ。
窮地に陥ったビル・ゲイツは日本に売上を依存することになる。日本で売られているパソコンに搭載されているBASICの過半数がMicrosoftのものだった。

これをAIの文脈にあてはめると、笑えるほど今の状況に近い。
OpenAIは当初「世界初の絵を描くAI」であるDALL-E(ダーリー)を、オープンではなくクローズドなものとして提供しようとしていた。
GPT3も同様で、のちにOpenAIを設立したイーロン・マスクも「非営利団体としてスタートしたのにただの営利企業になってしまった」と指摘した。そしてOpenAIを営利企業にしたのは、他ならぬMicrosoftである。

この件に関してはGoogleもあまり変わりがなく、大規模言語モデルの開発に成功したというニュースを流すばかりで実際に使えるモデルはまだ公開されていない。

ようやく今週になって重い腰を上げ、ついにGoogle独自の大規模言語モデルPaLMのAPIを公開すると宣言したが、今のところどこにも使う方法が書いていない。なかなかすごい。

Facebook改めMetaの研究所であるFAIRは、Llamaという大規模言語モデルを公開したが、この言語モデルを入手するには過去に自分が執筆し、出版した関連論文へのリンクと審査が必要となっており、「こういう新しい差別もあるのか」と驚嘆するほど保守的である。

いずれもホビイストの側には立っていないことは明白だ。

彼らが何を恐れているのか、と思うかもしれないが、彼らはまさにOpenAIが勝ち誇り、独占していた「画像生成AI」という技術が、StableDiffusionの登場によって一瞬にして無用の長物と化したような状況を恐れているのである。

しかも、AIは、入力と出力のセットが「十分な数だけ」あれば、「蒸留」という手法でより小さく高速なAIにコピーできてしまう。
まさに恐れている内容が、「ホビイストへの手紙」の頃と全く変わってないのである。

独占をしていた側にしてみれば、StableDiffusionの登場はほとんどテロリズムであり、ホビイスト側に立つ狂信的な金持ちが盤石だったAI帝国に敢然と挑戦状を叩きつけてきた、みたいな話だろう。

一方で、大多数の人々・・・特にホビイストたちにしてみれば、StableDiffusionの出現はバットマンの登場のようなもので、「どこかの酔狂な金持ちが、気まぐれに俺たち庶民を解放にきた」ように見える。少なくとも筆者にはこう見えているのである。

何億という金を投じて、独占できるはずの利益を独占せず解放するというのは、並大抵の発想ではない。
しかしこれで歴史に名を残すのはどちらかなのかは明白に決まった。

StableDiffusionを開発したStability.aiは、さらに大規模自然言語モデルを公開することを準備しているらしい。
これももし実現すればすごい快挙となるだろう。

AI世界のホビイストコミュニティにおける指導的役割を果たすハッカー、lucidrainsは早くもPaLMのクローン実装に着手している。

彼を支えるデータを作るのは、やはりホビイストたちによる国際的協力組織のLAIONコミュニティだ。
LAIONコミュニティでは早くもチャットのやりとりのデータ構造のオープン化と情報収集が始まっている。

筆者の知る限り、巨大企業とホビイストの集団がまともに戦った場合、巨大企業が勝ったことは一度もない。
巨大企業は「良い負け方」を模索するべきだろう。

Microsoftで一番高い利益率の商品はAzureで、Azureで一番多く動いているOSはホビイストが作ったLinuxである。
これは「いい負け方」を見つけた例と言えるだろう。