去年は大規模言語モデル(LLM;Large Language Model)の年と言っても過言ではなかった。
各社が独自の大規模言語モデルの構築に躍起になり、数千万円から数億円を投じたのは記憶に新しい。

大規模言語モデルの性能指標の一つとなるのが、「規模」だ。
この「規模」は、大規模言語モデルのパラメータ数で測られる。パラメータ数が多いほど記憶容量が大きい、つまり「脳が大きい」ということになる。
脳がどのくらい大きいのが最もいいのかはまだわかっていないが、参考までに、GPT-3は1750億パラメータの「脳」であり、単位が大きすぎるので通常は10億を意味する「B(illion)」をつけて175Bと呼んだりする。

Meta社が(制限はあるが)商用利用可能として公開したllama2は70BでGPT-3と同程度かより高性能と言われていて、フランスのMistral社が公開したMistral7Bはllama2-13Bよりも高性能と言われている。

「性能」は「規模」に必ずしも比例するわけではない。
「規模」は「脳の大きさ」に例えることができるが、同じ脳の大きさでも赤ん坊と成人ではテストの点数はかなり違う。
「性能」はテストの点数に例えるとわかりやすい。規模(脳)が大きい方がたくさんのことを覚えられそうだがそのぶん学習にも推論にも時間がかかってしまう。
その点、小規模な「脳」でもテストの内容を絞れば高得点がとれることがある。

大規模なLLMは日本語でも英語でも中国語でも使える万能選手だが、小規模な言語モデルは数学やプログラミングや日常会話といった限定された用途にフォーカスして開発される。

たとえばMicrosoftはわずか1.5BのPhi-1.5Bをリリースしている。これはAppleWatchにも入ってしまうくらいのサイズだ。

これら言語モデルの開発には、特殊な知識や能力はほとんど必要ない。
ただし、学習のための計算機を用意するのが大変で、そのための計算機の必須部品であるGPUは、世界的に枯渇しており、戦略物資として中国への輸出が規制されたり、市場にでてきてもすぐに溶けて無くなったりする。壮絶な争奪戦が起きているのである。

規模が大きければ大きいほど大きな計算機が必要で、昨年時点で我が国にはGPT-3サイズの言語モデルを学習できるような計算環境は筆者の知る限り存在していなかった。
また、昨年はChatGPT以外のオープンなLLMが百花繚乱した年でもあった。7Bから13BくらいのサイズのLLMであれば、比較的小規模な(といっても数千万円規模の)計算機でも計算可能だった。

ところが昨年の年末頃になると、130Bとか180Bとかという化け物サイズのLLMが次々と登場する。
これはどういうことかというと、複数の言語モデルを組み合わせたキメラモデルだという。

このキメラモデルのすごいところは、70Bを二つ足して140Bにしたり、異なる言語で訓練されたものを合成したり、合成する方法もいろいろと選べる上に、キメラモデル自体をさらに再学習させることもできる。

なにより驚いたのは、キメラモデルの開発にはGPUを一切必要としないのだ。まあ合成の原理を考えれば当たり前なのだが、こうなると、キメラモデルだけで既存の言語モデルを上回るようなものが次々と登場するようになる。こうして世の中には今、急速にキメラモデルが登場し、しかも大金をかけて学習された既存モデルの性能を上回り始めている。

合成の方法にはさまざまなバリエーションがあり、合成の組み合わせも無数にあるため、さながら宝探しのようにキメラモデルを作るのが世界的に流行している。
いずれ合成の組み合わせの発見は自動化され、放っておいても「なにかすごい」モデルが出るだろう。

興味深いのは、今の状態では誰も大規模言語モデルで大金を稼ぐことはできないことだけはわかっているということだ。
先行するOpenAI(とMicrosoft)や、Googleは一瞬だけ儲けを出すことができるだろうが、投資した何千億という金を回収するにはまだまだ時間がかかる。

彼らが顧客を巧妙に誘導し、自社のクローズドなモデルの優位性を顧客に信じ込ませ続け、投資を回収するまでの時間と、世界中のエンジニアが暇に任せてキメラモデルを作り続け、結果としてクローズドなプロプラモデルに勝ってしまうまでの時間の差でしかない。

古今東西、いや、ことコンピュータの世界においては、オープンソースコミュニティがプロプラ(クローズドシステム)に勝利するということが幾たびも繰り返されている。

90年代、あれだけの映画を誇ったMicrosoftのWindowsはLinuxに完敗し、今ではコンシューマ向けOSとして細々と存在しているにすぎない。
世界で一番多くの人が使っている一般消費者(コンシューマ)向けコンピュータ、すなわちスマートフォンのOSは、一方はLinuxベースのAndroid、もう一方はやはりオープンソースのDarwinベースのiOSである。

クローズドソースのOracleはオープンソースのMySQLに勝てず、結局SUNマイクロシステムズごとMySQLを買収。すると人気は未だオープンソースのPostgreSQLに移った。

興味深いことに昔のIBMやMicrosoft、今ではOpenAIやGoogleなどのビッグテックは、歴史から学ぶことを拒否しているのか、それとも歴史的な背景を踏まえながらも巧妙なやり方でオープンソースとプロプライエタリのいいとこ取りに成功したAndroidのビジネスを再現しようとしているのか、それはわからないが、おそらくは今回は彼らの企みは短期的には成功しても中長期的には失敗に終わるだろう。

重要なのは「AIは誰にでも作れる(作れてしまう)」という単純な事実である。

たとえばOS(特にコンシューマ向けOS)の場合、色々な環境で同じよう動くように作ったり、動作確認したり最適化したりするためには相当な人手と組織力を必要とする。

だからコンシューマOSを作るにはチームが不可欠だし、チームメンバーのそれぞれが超一流の能力を持っている必要がある。

最近のLinuxもコンシューマ向けとしてはかなりこなれているが、普及しているとは言い難い。細かな点で同じUNIX由来のOSならMacのほうがずっと使い勝手がいいのだ。もちろん慣れの問題もあるとは思うが。

しかしAIの場合、コンシューマOSを作るほどの労力は全く必要ない。
重要なのはむしろデータのほうだが、そのデータすら今の世の中には大量にある。

GPT-3.5程度でいいのであればもうすぐにでもオープンソースのLLMが現れるだろう。
キメラモデルの出現は、AI開発にもうすぐ資本の原理が通用しなくなることを暗示している。

今はちょうど時代が大きく変わる転換点で、資本だけあっても計算機を手に入れることはできない(納期は50週間と言われている)。
もしも差が出るとしたらデータセットで、しかしそれでさえもLAIONプロジェクトがそうしたように、市民の草の根運動によって世界中のデータセットが集められるようになるだろう。

GoogleもMicrosofもコンテンツそのものを生み出す機能をもっていない。近い将来、これが必ず彼らの弱点になる。
コンテンツとは学習データそのものだが、実は本当に欲しいのは結果としてのコンテンツというよりも、そのコンテンツができあがる過程の全てだ。実は一番高性能なAIを作る企業が出現するとしたら、独自コンテンツを豊富に持ち、またその配信プラットフォームも持っているNetflixのような企業かもしれない。

彼らはコンテンツを産み出す過程の全てを学習データ化できる。ユニークかつ強力な学習データを持ってさえいれば、それを学習させるのはオープンソースのLLMで十分なのだ。