2024年1月。国内の生成AIコミュニティに激震が走った。
コンタクトセンター向けのチャットボット開発のパイオニアとして知られるカラクリ社が商用利用可能のオープンソースモデルとして公開したKarakuri-ln-70bの性能が高すぎると話題になったのだ。

多くの日本語LLMと同様に数学能力に関するスコアは低いが、物語を記述する能力、日本語の質問に日本語で答えたり、答えをプログラムで扱い易いJSON形式にしたりする能力がこれまでの国産LLMに比べて桁違いに高かったのである。

物語を記述する能力に関しては、一説によればGPT-4を凌駕するとも言われる。社員百人未満のベンチャー企業でこれほどの驚異的な成果を出せた理由はなぜか。

しかも、カラクリ社によれば開発を担当したのはわずか数名の社員。学習に要した時間は三日だという。

Karakuri-lmは以下のURLから誰でもダウンロードできる。

https://huggingface.co/karakuri-ai/karakuri-lm-70b-v0.1

誰でもダウンロードすることはできるが、実際に70B(700億パラメータ)ものモデルを使うには数千万円のコンピュータが必要になる。
これを民生用のコンピュータで使えるようにしたgguf形式のデータも有志によって開発、配布されている。

https://huggingface.co/mmnga/karakuri-lm-70b-chat-v0.1-gguf

karakuri-lm-70b-chatをOpenAI互換のローカルサーバとして動かしてみた

カラクリ社の技術ブログによれば、これが生まれた背景が単なる技術力だけではなく、冷静かつ的確な経営判断にあったことがわかる。

KARAKURI LMの解説

開発にあたってはMetaが開発し、商用利用可(制限あり)で配布しているLlama2をベースとして、独自に日本語向けの語彙の拡張を行い、独自に集めた日本語データを含め1000億トークンのデータを学習させたもの、とのこと。

学習にあたってはNVIDIAのGPUを使用せず、Amazon AWSが独自に開発したAWS Trainiumを用いたtrn1.32xlargeノードを32ノード使い、約三日間かけて学習したとのこと。この記述から学習に要した金額を概算すると、trn1.32xlargeが消費税のないオレゴン州のノードで使うと一時間あたり$21.5(3230円)で、これを32ノードで三日間とのことなので合計$49,536(約744万円)ということになる。

なんと、推論に使うコンピュータ設備を買うよりも、安い学習コストで非常に高度な学習が完了しているのだ。
学習に使ったコードは全てオープンソースのものを使用したとはいえ、GPU以外の手段で学習されたLLMがこれほど高い性能を、しかも高コストパフォーマンスで達成したことは、まさしく「事件」と呼ぶにふわさしい。

これをやるには技術力だけでなく高いレベルの経営判断が必要になる。
なにしろ、機械学習は水物で、たとえ700万円を投じたとしても、満足いく成果が得られるかどうかわからない。

そこに小規模なベンチャーが敢えて大金を投じて自らの意思と能力を証明したことに、素直に拍手を送りたい。

また、学習した成果を自社内で囲い込まず、商用利用可(ただしLlama2ライセンスの制約はある)のモデルとして公開したこと、技術ブログで詳細に作り方を解説したことは間違いなく日本国内のAIコミュニティの発展に貢献する偉業である。

日本国内ではGPUが入手できないどころか、AzureでもAWSでも「GPU」は在庫が払底していて手に入らない。そこでAWSで浮いていたTrainiumを「敢えて使う」という選択をしたことも英断であると言える。

この「事件」が意味するところは深い。
もはやNVIDIAのGPUに頼らずとも生成AIを開発することはできるし、それに数億から数百億円のコストを見込む必要もない。

つまり、学習に使うデータさえ質が高ければ、中小企業でもベンチャーでも独自のデータセットをもとに国際的競争力を持つAIモデルを開発可能だということだ。

国が何十億、何百億という予算を生成AI開発に投じても、なかなか眼に見える成果に繋がってない現状から鑑みると、カラクリ社の納めた技術的成功は痛快であるとともに、新しい時代の幕開けを告げてくれるものだ。

これだけの高度な経営判断ができる経営者と、その期待に応える優秀な技術者が揃った会社は滅多にない。
今後の同社の動向に注目したい。