アメリカがGPUを重要物資として中国に対して禁輸措置を行うとの意向を受けて、中国国内ではA800 GPUの価格が一枚あたり50万人民元(約1000万円)に達するなどのパニックが起きたようだ。これは通常の価格の5倍にあたる。

A800は、そもそもアメリカ政府の意向を受けて中国市場向けにデチューンした(性能をわざと落とした)モデルで、世界的ベストセラーのA100の70%程度の性能とされている。
しかし中国国内ではAI開発が非常に活発であり、合法的に使えるA800を大量に確保したい中国側の事情と、軍事転用も可能な重要戦略物資を中国に売りたくないアメリカ政府の意向が真正面から対立する形となっている。

筆者は平日毎日「デイリーAIニュース」という有料番組を配信しているが、日々発表される論文と実装のうち、かなりの割合が中国企業または中国人研究者の手によるものである。もはやAIの世界において中国語は英語に次ぐ第二言語の地位を確立したと言って良い。用意されているドキュメントも、たいていは、英語、中国語の二つがある。場合によっては中国語のみのものもある。

A800およびそれに続くH100の禁輸措置によって何が起きるか想像すると、まずAI研究の方向性が変わるということだ。少なくともこれまでのような「大規模なモデルを大量のGPUで学習する」ということは限定的にしかできなくなっていく可能性がある。ただ、すでに稼働しているGPUを取り上げるようなものではないので、すでに発売から3年が経過したA100であってもあと数年は戦えるということになる。中国におけるAI開発のスピードは現状維持のまましばらく続くだろう。

同時に、中国国内での半導体設計にエネルギーが向けられることになる。すでに中国ではエッジ分野ではRISC-VベースのK210など実績がある。もちろんエッジ・・・つまり末端で使われる小規模なプロセッサとデータセンターで使われる大規模なプロセッサでは根本的な設計も違えば要求される仕様も大きく異なる。ただ、オープンアーキテクチャのRISC-Vの登場によって活気づいている中国の半導体設計企業たちが、雪崩を打ってハイパフォーマンスAIプロセッサの開発に着手するシナリオは容易に想像できる。

現状のAI半導体の状況は依然としてNVIDIA一強であり、ようやくAMDが二番手としてハイエンド分野で互角の勝負を仕掛けられるかどうかというところに来ている。アメリカ国内にはこのほかにSambaNovaやEsperanto TechnologiesなどのGPU(グラフィックス処理ユニット)とは異なる思想のAIプロセッサが続々と開発されているが、ほぼ全ての半導体の製造は台湾企業の工場で行われている。シラス特別講義 SambaNova社に聞く非ノイマン型データフローアーキテクチャの実際)

半導体工場というのは作るのも運営するのも難しく、歩留まりを上げるといったこともそう簡単にできない。
「台湾でダメなら大連で」とは一筋縄にいかないのが難しいところだ。日本国内にも半導体工場を作る計画が立ち上がっているが、これも立ち上がってすぐフル稼働というわけにはいかないという見方がさまざまな専門家の意見として筆者のもとに届いている。そもそもGPUを作るための工場設備とCPUを作るための工場設備は違う、という話もある(シリコンバレーの現役エンジニアに聞く!AI半導体最前線)。

ただ、いずれにせよ世界は半導体工場を増やすしかない。しかもできれば自国内または強い同盟関係にある国で早急に技術移転をしなければ、AI半導体開発に遅れをとり、その遅れが決定的な戦略上の失策に繋がるというのが大筋の見方である。
あまり軍事の話に結びつけたくはないが、たとえば囲碁のようなシンプルなルールのゲームでさえもはや人間がAIに太刀打ちできないとすれば、戦闘機同士の格闘戦(ドッグファイト)や、戦術レベルの作戦立案と遂行、戦略レベルの判断を早急にAI化した方が結局のところ「戦わずして勝つ」という最も理想的な結果を生み出すようになるだろう。たとえば人間が計画すると非常に複雑かつ不確定要素が強い兵站(ロジスティクス)にはAIが活躍する余地は非常に大きい。ほとんど全ての戦争は、戦闘行為そのものよりも兵站によって勝敗が決定するので、AIの活用は紛争による被害を最小化できる可能性がある。

この生き馬の目を抜くような米中のAI戦争を考えると、我が国のAI開発はなんとも牧歌的だ。
大規模言語モデルを作ることに皆が集中しているが、実際に大事なのは「役立つ」ものをつくるということであって、実際のところ、まだ日本には「日本人に役立つ」独自の言語モデルはほぼ存在しない。

上図は、FastChatのMT-BenchをStability.aiが日本語対応したもので、筆者が独自に測定した各日本語LLMの性能評価(ベンチマーク)である。
この性能評価は、それぞれのLLMがChatGPTのように「複数回数のやりとりに答えられるか」を基準に算定している。

判定をしているのはGPT-4で、この基準で見ると、日本国内で作られた独自のLLMはElyza-7B-Fastが最も良いが、トータルの能力としてはGPT-3.5-Turboに敵わない。
特に共通しているのが、作文能力(Writing)と、演じる能力(Roleplay)および数学能力(Math)である。数学能力が向上していないのは日本語と英語では同じ概念であっても数学の言葉が異なるという問題が根本的にある。たとえば内積はdot productまたはinner productといい、外積はcross productまたはouter productと呼ぶ。同じ概念でも複数の単語が割り当てられる可能性があり、日本語の数学の教科書が必ずしも全てネット上にあるわけではない。要は教材が不足していることから起きている能力の低下と言える。また、高度な数学の論文は日本語ではなく英語で書かれることにも原因の一端がある。

それよりも作文能力と演じる能力の欠如の方が問題で、このグラフが示すことは、日本国で独自に作られたLLMの多く(ほぼ全て)は、一問一答式の「クイズ形式」の問題には答えられても、文脈を理解して会話するような用途や、ビジネス文書などを書かせるにはデータセットが根本的に足りてないということになる。このデータセットの作成こそが急務であるにも関わらず、国内のほとんどの組織はただひたすらに規模の大を追うか、海外の英語基準のベンチマークテストで高得点を取ることに集中していて、実用的な日本語の運用能力といったものに注目したプロジェクトはまだまだ少ないのが現状だ。

どのプロジェクトにも共通するのだが、「LLMに具体的に何をさせたいか」「LLMでどんな成果が欲しいのか」という、根本的なwants(欲求)がハッキリしないままお金と人員を投入すると多くの時間が無為に過ぎ去っていってしまうことになる。

たとえば「AI BunCho」なら目的は小説執筆をアシストすることであるという明確な目標があり、その目標のためにクラウドソーシングで小説のあらすじと実際の内容といったデータセットを作成し、学習させた。このような作り方ならば評価関数がある程度絞られるのでその延長上にあることも見えやすい。

画像生成では、目的がハッキリしている。たとえば「こんな絵を描きたい」「こんなものを登場させたい」といった欲求(wants)からAIを微調整(ファインチューニング)することができる。
個人的に期待しているのは言語モデルの拡散モデルで、Microsoftが論文を発表しているが、画像生成と同じように拡散モデルを訓練できるとすると、Transformerよりもファインチューニングしやすい印象がある。現状ではまだ速度は遅いが、わずか7500万パラメータのモデルで1700億パラメータモデルと同等の精度を出せるとされている。つまり必要なメモリが大幅に削減されるということになる。

ちなみにこの論文によってGPT-3.5-Turboのパラメータ数が20B(200億)という情報がリークしてしまったことが世界のLLMコミュニティを騒がせている。
そもそもGPT-3は175B(1750億パラメータ)と言われていたのだが、それよりはるかに高速に推論ができるGPT-3.5-Turboが約1/10のサイズというのは納得感があるし、最近の大規模言語モデルの主流が7Bから13Bであり、ベンチマークではGPT-3.5-Turboとほぼ互角の性能を出しているのもそれほど不思議なことではないと思える。

繰り返しになるが漠然と「いい点数をとれるAI」を作ることはあまり重要ではない。
「何に使いたいか」という目的を明確化し、「そのためにはどんなテストで性能を評価すべきか」を決め、その上で「そのテストでいい点数をとるためにはどんなデータセットが必要か」を考えるべきだ。
そのベースになるのがTransformerだろうが拡散言語モデルだろうがRWKVだろうがあまり重要な問題とは言えない。

大切なのは、「何がしたい」か。それを先に決めることだ。そしてもちろんそれが一番難しい。