そろそろ業界の最深部でしか知られてなかった事実がニュースになって来始めているのでここで本当の問題を明らかにしておきたい。

AI開発に必須なのは、計算資源である。そしてこれは現在のところ、事実上NVIDIAが一社独占している。
NVIDIA以外の半導体がいくら「AIに特化しています」と能書きを垂れていてもごくわずかな例外を除いてはほとんど全部が誇大広告である。

たとえばApple Silliconは、「ニューラルエンジン」と称するモジュールを内蔵しているが、これを使ってAIの学習をすると、なんとCPUよりも遅い。信じられないかもしれないが、これが残酷な事実なのである。

Appleの公式サイトにもこの事実は記載されている(ユーザーの苦情として)

M1 GPU は非常に遅いのですが、CPU で NN をトレーニングできるようにするにはどうすればよいですか?

これは非常に開発者たちを苛立たせ、失望させる。
AMDのROCmも、筆者も昔から応援しているが、全然早くならない。最近ようやくNVIDIAの80%くらいの性能になったのでようやく勝負になるのか、なるといいな、というレベルであり、効率を考えるならNVIDIAのチップを買うしかない。

SambaNovaは非常に野心的なアーキテクチャで期待できるが、ソフトウェアスタックの整備にまだ時間がかかりそうだ。

さて、ChatGPTを開発するのには1万基のNVIDIAのGPUが必要と言われている。先の記事によれば、GPT-4を開発するのに1万から2万5千基のGPUを使ったと想定されている。

また、Meta(Facebook)は、すでに2万1000基以上のGPUを確保しており、AIに本格参入しているわけではないテスラでも7000基を確保している。GPT5の開発にはH100世代のGPUを3万5千基程度使うと考えられている。生成AIの新興企業であるStability AIも5000基を擁している。

一方、日本で最大規模のディープラーニング計算資源は産総研が管理するABCI(AI橋渡しクラウド基盤)である。
ただし、4世代前のV100を1088基と、3世代前のA100(40GB)を120基しかない。足してもわずか1208基である。
また、Microsoft Azure、Amazon AWS、Google GCPといった会社は、さらにそれぞれ10万基のオーダーを出していると言われる。

欧米の私企業や新興企業が単独で持っている大量の最新世代GPUに対して、日本は国家戦略レベルの計算資源でもわずか1/10以下の規模しかない。

これではまったく、勝負にならない。

GPUがなぜそんなに必要なのかといえば、時間短縮に抜群に効果が高いからだ。

AI開発を前提としたとき、GPUにとって重要な指標はまず「単独のVRAM容量」と、「数」である。
「単独のVRAM容量」が大きければ大きいほど、大きくて複雑なモデルを学習できる。

これはNVIDIAでは現在のところ80GBが上限で、おそらくGPT-4も単独で80GB以内に収まる大規模言語モデルを複数のGPUに分散して組み合わせることで実現していると思われる。

数が多ければ多いほど、大規模なデータ学習を高速にできる。
単独の80GBVRAMで動くモデルをデータパラレル(並列)という方法で学習させるにはこれが一番効率がいい。

ちなみにABCIには80GB VRAMを搭載したノード(計算資源の動作単位)は、ゼロである。
つまりABCIを使う限り、日本のほとんどの企業や研究チームはGPT-3規模の独自の大規模言語モデルを作れない。

数だけでも1/10以下なのに、そもそものスペックが足りてないのである。F1レースに出るのに軽自動車しか持ってないような状態だ。

サイバーエージェントやLINE、東大が相次いで独自の大規模言語モデルを発表しているが、そう言う会社は自社に80GBまで対応する計算資源を抱えているからである。こうした資源は、少なくとも数千万円程度する。

さらに、最新世代のH100は完全に在庫が払底している。それは、最初期にNVIDIAがH100の営業に来た時に「高いからいらない」と門前払いをした日本の企業や政府組織が多かったからである。だったら「欲しい」という会社に先に売るのは当たり前で、AIにおけるVRAM容量の重要性をちゃんと認識していた欧米企業は最初から大量購入を約束したからそれだけの数量が確保できた。NVIDIAに悪意があるわけではなく、単に市場競争の結果、調達が最も困難な部品になっているのだ。むしろこ「みんないらない」と門前払いした状況でも日本に割り当てを考えてくれていたNVIDIAに日本政府は感謝したほうがいい。

筆者のところに漏れ伝わってきてる噂によると、次回のH100の入荷は来年の春以降で、しかも日本全体でわずか数千基の前半しか割り当てられない可能性が高いという。

この希少な在庫を国内で奪い合うわけだ。その間に世界はもっと先に進んでいる。周回遅れどころか二週回以上の遅れがこれから一年で生じる。これを取り戻すためには、ものすごく無駄なお金を使わなければならない。たとえば、買えば安いのに、わざわざ高価なクラウドサービスを使うしかなくなる。これは我が国のAI戦力の低下を直接的に意味することになるだろう。

そうすると、道は二つしかない。
ひとつは、VRAMの容量を諦めて、小規模モデルに特化した研究開発や、データ開発の研究、基盤モデル以外の応用研究に専念すること。苦肉の策だが、実は日本の得意分野だ。

もうひとつは、海外に拠点を設けるか欧米企業を買収または資本参加をして、計算資源を確保すること。「日本向け」の割り当てと、「欧米向け」の割り当てはまた違う。欧米にはいち早く計算資源確保に動いたベンチャーがたくさんある。そこを人材目的ではなく、計算資源目的でM&Aし、早急にキャッチアップを行う。

そのどちらもできないのであれば、現実に目を背け、21世紀をAI敗戦国として生きるしかない。
我が国のAI戦略は、今かなり根底を揺るがされるやばい事態になっているのだ。