最近、派手なデモンストーレーション動画を引っ提げて鳴物入りで登場し、「Comming Soon!」とソースコードの公開を匂わせつつも実は待てど暮らせどソースが公開されない・・・そんな偽論文(Vaper Paper)が急増している。

偽論文とプロ驚き屋の相性は抜群で、何しろプロ驚き屋は「AIすごい!」と言って騒げるネタさえあればよく、それが嘘か本当かなどどうでもいいし確かめようがない。

その結果、偽論文を発表するモチベーションさえ生まれてしまう。

なぜ偽論文が生まれるのかといえば、いくつかの原因が考えられる。
例えば、AI関係の学会は、何年か前からプラチナチケットと化している。

例えばトップ学会の一つNeurIPSは、数分でチケットが売り切れる。そこに参加しようと思ったら論文を採択してもらう方が手っ取り早い。しかし、あまりにも大量の論文が投稿されるので、その発表の大半はポスターセッションになる。特にニューラルネット関係の論文は、「嘘でしょ」というくらいすごいことが毎月起きるので、そこにいくつか「本当に嘘」の論文が紛れていても気が付かれにくい。査読段階で全ての論文の再現実験なんか到底できないし。厳しめにすると、「Attention is All You Need」のような重要論文をリジェクトしちゃうしで学会運営も楽じゃない。

しかも、最近ではGoogleのような権威ある企業までもが、自社のAIのデモ動画だと主張していた動画が捏造に近いほど編集されたものだと自ら白状したりした。これでいいなら「ドラえもん」の過去作全部を「デモ動画」と言い張ることもできるじゃんよ。

それより何より、公開されている動画や表だけ見て「すごそう」と思わせれば勝ち、というこの世界のルールがバグってるのだと思う。
実際、この偽論文によって資金調達したり、資金調達した後に嘘だとバレて阿鼻叫喚となったりする事例もちらほら出てきているらしいと聞く。
今時の資本家は金を出す目利き以上に自分の手で「それが本当かどうか確かめる」能力が求められるようになっている。
コードを書けないベンチャーキャピタリストの言うことは信用できない。特にAIに関しては。コードを書けないVCの目はみんな節穴であると言っていいだろう。

我々、プロ検証屋(とあえて名乗ることにするが)は、論文やデモ動画だけ見ても信じないことにしている。筆者は毎日「デイリーAIニュース」で最新の論文や論文だと称するものをチェックしているが、その半数以上が、「コードは公開するつもりはあるけど今は出さないよーん(comming soon)」である。

しかし、Comming soonのソースコードが実際に公開されたことはほとんどない。
筆者は毎日、「Comming soon」のリポジトリを周回するボットを走らせているが、注目された論文の実装が公開されるといって何ヶ月も公開されていない現状を見るに「なんて酷い時代だ」と嘆くのである。

偽論文は動画系が目立つが、動画系の方が派手な動画で騙しやすいからだろう。

反対にLLM(大規模言語モデル)は、それが最新のものであろうと巨大なものであろうと基本的に「公開即実験」できる状態で公開されるのが普通だ。これはとても喜ばしいことである。
LLMの場合、「派手なデモ」がやりづらいというところがある。

LLMの場合、非公開のままいくら「自社のベンチマークで世界最高性能」と主張されても、それが眉唾である可能性は常に拭えない。
眉唾であろうがなかろうが、そもそも第三者が使って役に立たない可能性があるんだったら意味ないじゃんよ、ということでもある。

筆者も相当数のLLMを手元の環境で試しているが、本当に額面通りに便利に使えるLLMは極めて稀であることは間違いない。

「何かのベンチマークでは高得点なのかもしれないが、僕の使いたい用途に関してはゴミ」

みたいなことが異常に多い。
ベンチマークなんかちゃんと取らないと意味がないんだよ。その「目的」に対してちゃんと沿っているかどうか。
それ以上に、それを動かすのにGPT-4のAPI利用料金より安いか高いか。速いか遅いかの差でしかない。

ほとんどのタスクは、GPT-4を使った方が単に安くて高品質だ。
みんなもっとちゃんとGPT-4のAPIを活用してプロダクトを作り込むことに集中した方がいいんじゃないか。それすらやらないで自社のLLM作ったって、それが実用的に使えなければ、単にミニ四駆を走らせてるようなものだ。不毛なのである。

そんなことでヤキモキしていると、インフルエンザにかかってしまった。
インフルエンザにかかるなんて数年ぶりである。

最近はインフルエンザの薬がすごく進んでいて、飲めば24時間でインフルエンザウィルスの増殖を1/100まで抑えられるようなすごい薬効があるらしい。

これでインフルエンザのウィルスそのものは撃退できたのだが、いかんせん削られた体力が戻るまでにやっぱり数日から一週間くらいかかるようだ。

しばらく寝込みながらも毎日のデイリーAIニュースは続けていた。
その結果、ニュースが目の前をものすごいスピードで駆け抜けていくのだが、このニュースで流れている情報を検証する時間(と体力)が取れないことに苛立ちを感じたりしていた。

最近のニュースはHyenaを使ったLLMがいよいよ登場したことと、RWKVが高速化したことなど、LLMの根幹に関わるようなことが多い。
ただ、結局どれもこれも英語の話であって、日本語が達者になるようなことはなかなか起きないんだよなあ