ついにやらかしてしまったか。

数多くの日本企業から高い評価を受け、資金調達をしてきたSakana.aiは、登場した当時はヒーローだった。
まるで学術的な意味のない面白論文と面白実装を次々と発表する様は、「ロックだなー」と、ある種、ファンの目線で彼らをみていた。

「面白い論文」と「学術的に価値や評価が高い」論文というのは全く違って、最初、Sakana.aiが進化計算の論文を出した時は、クールなジョーク論文だと思っていた。
論文偏重主義に一石を投じ、中身の読めない人をからかうかのような姿勢はトリックスター的な面白さがあった。
唸るような大金を集めておきながら、発表する論文はほぼAPIを叩くだけのものばかりで、一体全体その資金を何に使っているのかまるでわからないミステリアスさが魅力的だった。
それは当時はそもそもGPUはお金を出しても買えないという状況があったから、「まあ苦肉の策なんだろうなあ」と思ってみていた。ジョークとしては非常に面白い論文を次々と発表していたからだ。
ついでに言えば、ご自宅ですぐ試せるような楽しいものが多かった。

しかし、昨年春頃から、あまりよくない噂を聞くようになった。

「あれは魚ではなくて釣りでは?」という話をシリコンバレーの友人たちからちらほら聞くようになってきた。
それで筆者もしばらくSakana.aiの話題には触れないようにしていたのだが、ついにやらかしてしまった。

Sakana.aiがつい先日センセーショナルに発表した論文は「AI CUDA Engineer：エージェントによるCUDAカーネルの発見、最適化、生成というものだ。

しかし、この内容が真っ赤な嘘であることが、シリコンバレーのAI関係者から指摘され、大炎上している。

※都合により一部削除

この論文が完全に間違っているどころか、悪質な嘘であることを指摘したのは、ルーカス・ベイヤーで、現役のOpenAIのエンジニアで、元Googleの研究者だ。

Sakana.aiの発表を否定するツイート

ベイヤーによれば、「Sakana.aiが見つけたとされるCUDAカーネルが150倍速いのは嘘で、実際は3倍遅い」とのこと。

彼の再現実験は、こちらのGoogle Colabから誰でも試すことができる。

確かに、これはひどい。

しかもこれに関してはニュースの段階からひどく、あとでひっそりと修正されたが、某メディアでは当初「50倍から150倍高速化し、最大500%高速化」というデタラメな数字が報道されていた。
ベイヤーが指摘するように、普通に考えると、そんな極端な高速化は常識的にも科学的にもありえない。

たとえば、DeepMindが開発したAlphaDevでさえ、17ステップの計算を16ステップに減らすのがやっとなのだ。
人間のプログラマーが半世紀をかけ、それ以前の数千年を賭して磨き上げてきた数学が、そう簡単にAIに追い抜かれるのはいくらなんでもおかしい。

Sakana.aiが当初発表していたような進化計算で「AI Scientist」と称してAPIを叩いて「論文のようなもの」を書かせるというジョークは非常に秀逸だったが、それを「技術力が高い」と間に受けて大金を投じた人たちは、いま大変な思いをしているだろう。

非常に深刻なのは、今回の発表はそれほど高度なミスではなく、ごく初歩的な確認を怠ったミスなのである。これを発表するまでの間、少なくとも、広報、経営陣を通ったはずで、この会社はガバナンスが完全に機能してないか、悪意を持って積極的に顧客や株主を欺こうとした疑いすら出てきた。これはジョークでは済まされない。

Sakana.aiには悪意があるのかないのか、それともそもそもこの単純な事実に気づくことすらできないほど愚かなのかはわからない。ただ、全くこれはクールではない。
どちらにせよ、時価総額1400億円は、高掴みしすぎたようだ。