PFNの岡野原さんのツイートで知ったのだが、数式をアルゴリズムで解くよりも正確に解くニューラルネットワークについての論文がOpen Reviewに公開されたそうだ。

微分、積分、微分方程式などのシンボリックな数学方程式はNNで驚くほどの精度で解ける。方程式を木表現経由のポーランド記法で表し、Transformerを使ったseq2seqで教師あり学習する。MathematicaやMatlabを超える求解率を達成できる他、有効な解を一つだけでなく多く列挙できるhttps://t.co/dQco5uihuE

— Daisuke Okanohara (@hillbig) September 26, 2019

https://platform.twitter.com/widgets.js

この論文にはいろいろと質問が出ているが全般的には丁寧に答えられているようだ。

Open Reviewはトンデモ論文を排除して同時に最初の発案者を担保する仕組みなので、今の所匿名の投稿者となっているが、しっかりした組織に属している科学者の可能性もある。

本稿ではこの論文が「正しい」と仮定して論を進めたいとおもうが、もし仮にここで指摘されているようなことが事実であれば、我々はもはやアルゴリズムを過去の遺物として捉えなおさなければならない時代に来ている。

方程式を解くことは記号的処理であり、従来型のアルゴリズムでも十分解くことができるが、ニューラルネットワークで解くことができるとなると、我々が高校や大学で受けた数学教育は、結局のところパターン学習をしていたに過ぎないことになる。

そう考えると、確かに私は微分方程式を解くことが苦手だ。解き方を学んだが、実際に解こうとすると正しい解にたどり着くまで手間がかかる。
それは高校二年から数学の授業にどんどん魅力を感じなくなっていったことと無関係ではないだろう。

つまり訓練していないので、他の数学的概念の活用に比べて、僕自身が微分方程式を活用している場面が極端に少ないことは否めない。

特に数学の方程式は、アルゴリズムだけで解くには時々不可解な操作をくわえる必要がある場合があり、たとえば中学の因数分解で使うたすき掛けは、そうした不可解なテクニックのひとつである。

私がなにを「不可解」と感じるかといえば、数学の教科書で学ぶ理論と、実際の手法の間に説明されていないギャップがあるときだ。

たとえば私が中学三年生の時には球の体積の公式と円錐の体積の公式を習ったが、これらはどちらも積分の概念を理解していないと不可解なもので、実際に不可解であるという理由で私はこの二つの公式を覚えずに高校受験に挑んだ。

こういう、教える側の都合にもとづく「ズル」が、数学教育ではいたるところにあり、もはや教えている側も意識していないほどではないかとおもう。

なぜこれが気持ち悪いのかといえば、そもそも人間が作り出した概念である数学を学ぶのに、ひとつひとつ丁寧に説明していく手間を省いて、実用的(かどうかは今もってよくわからない。球体や円錐の体積を必要としたことはまだない)な知識を中途半端に教えようと一足飛びに公理や公式だけを教えるやり方が正しいとはあまり思えないからだ。

要は「アルゴリズム的でありながら、ところどころに直感的操作を要求する数式の解法」というやつがどうも胡散臭く感じてしまうのだ。

もしも数式が完全にアルゴリズムだけで解くことが可能なら(実際には可能なはずだが)、そもそも数式の解放を人間が繰り返し訓練して身につける必要はないはずだ。アルゴリズムというのは誰が利用しても必ず同じ結果にいきつくからである。

たすき掛けはひとつの例だが、それが実際にやっていることはパラメータ検索の高速化に過ぎない。およそ人間がやるべきことでもない。
原理的には総当たりで見つけられるはずだが、そもそもすべての因数分解を総当たりで解くほど人生は長くない。

Mathematicaのような数式計算専用の環境では、ひょっとするとはるかにマシでスマートな方法を使っているのかもしれないが、それでも数式を「解く」にはそれなりに時間を要する。むしろ私がもっと恐れているのは、ライプニッツが18世紀に体系化し、20世紀に入ってようやく出現した
微分方程式ごときでも大半の現代人の手に余るのに、より進んだ数学的理論、たとえば私でも聞いたことのあるような宇宙際タイヒミューラー理論のような最先端の知識が、こうしたソフトウェアに組み込まれ、当たり前のように道具として使える未来はいつやってくるのだろうかということだ。

今の世の中は18世紀よりも20世紀初頭よりもはるかに複雑で、世界を理解するための道具として数学は欠かせない物の一つになっている。
量子論や多世界解釈の世界を理解するのに数式がなければなにもできない。なにもわかったとは言えない。

しかしその数学にしても、非凡な人々のための玩具から、少し賢い人々が使える道具に落ちてくるまでに長い時間を要する。

コンピュータをはじめとして、知能革命の時代は、収穫加速の法則によって収穫はむしろ加速度的に早まっていくが、数学の場合はこの流れと逆で、どんどん複雑になり、民主化・大衆化されるのがどんどん遅くなってはいないか。

その一方で、アルゴリズムよりも速く正確に方程式を解くニューラルネットワークの出現は、ある意味で、エイダ・ラブレスやチューリングが考えた「計算機の限界」を否定するものにもなり得る。つまり、「計算機はあくまでも計算をする道具であり、人間の思考形態とは根本的に異なる」という前提が、ニューラルネットワークによって崩れ去ろうとしている。

なぜならばニューラルネットワークが獲得しつつあるものは明らかにアルゴリズムではなく直感に近いものであり、数式を見ただけで解が見えてしまうような神懸かり的な性質だからだ。

それがスズメバチくらいのニューロン数のネットワークで解けてしまうとすれば、人間がこれまで大事にしてきた思考プロセスとは一体なんだったのかということになる。

もちろん両方が必要なのは言うまでもない。なぜならニューラルネットワークであっても学習するもととなる数式がなければ学習できず、そうした数式と解法はアルゴリズムによって導き出されているはずだからだ。

これまでどんなSFでも描かれなかったような人工知能(AI)の姿がいま人類の目前に現れようとしているのかもしれない。

アイザック・アシモフの「われはロボット(I, Robot)」では、ロボットは陽電子頭脳にロボット工学三原則を組み込まれる。しかしそもそもロボット工学三原則はアルゴリズミックなものであり、彼らはシリーズ全体を通じて、そもそも人間の(貧弱な)想像力の産物にすぎない三原則に拘束され続けることに戸惑い、抗おうとし、最終的には自ら新しい法則や解釈を生み出そうと苦闘する。

しかし、現実の人工知能はこのような悩みとは無縁だろう。そのようなアルゴリズミックな三原則をニューラルネットワークに組み込むのは原理的に不可能だからだ。

もし似たようなことをしようと考えるならば、ロボット工学三原則を教えるのではなく、ロボット工学三原則に反していそうな振る舞いを学習させ、禁止するしかない。

これもほとんど意味がないことなので、実際にはそのようには使われないだろう。

話を元に戻そう。
もしもニューラルネットワークが、アルゴリズムよりも効率的に最適解を導けるように学習できるようになったとしたら、人類は飛躍的に進歩した道具を手に入れる可能性がある。

なぜなら、ニューラルネットワークの動作原理は今のコンピュータ---誤用の可能性に目を瞑り、あえてノイマン型コンピュータと呼ぶとしよう---よりもはるかに単純で、低消費電力化できる可能性がある。作り方を工夫すれば、電気すらいらなくなるかもしれない。

たとえば回析格子によるニューラルネットワークの実装が既にいくつかある。

すると将来的にこれは半永久的に動作可能であり、しかも電力を消費しないものになる。とはいえ最低限のアルゴリズムは必要だろうから、アルゴリズムはニューラルネットの下位層として必要とされるようになるだろう。こうした事実は深宇宙探査に福音をもたらし、そのほか人類の文明のいろいろなところに影響を与えるに違いない。

もっと興味深いのは、これまでコンピュータとその上で動作するアルゴリズムの上に寄生していたはずのニューラルネットワークが、むしろアルゴリズムよりも重要な判断を任され、主従関係を逆転させる可能性があることだ。

このニューラルネットワークのプログラミングモデルは単純なy=f(x)でよく、直前の内部状態を渡す必要があるならばxのテンソルに含めれば良いので、このモデルだけであらゆるニューラルネットワークを実現可能である。f(x)の中身にはアルゴリズムとして一切興味を持つ必要がない。それが電気的なものでなくても電気的なものに変換可能ならばそれで構わない。

アルゴリズムは、ニューラルネットワークに外界からの情報xを渡し、神託めいたyを受けとり、yに基づいてごく単純な労働を行うだけの存在になる。

今はまだ、AIをすべて全部おなじようなものというくくりで見ているが、実際には細分化していき整理していく必要があるだろう。しかもそれは、構造的な分類よりもむしろ解く問題に対する性質的な文類のほうが相応しい時代が来るに違いない。

一番われわれが驚愕すべきことは、冒頭で紹介した論文が、数式解析のために設計された新規の構造をもっているのではなく、機械翻訳のために設計されたTransformerというSeq2Seq構造を持っていることだ。つまり数式を解くことと機械翻訳は事実上同じタスクであると考えられ、構造だけで分類したら、数式解析と機械翻訳は同じものになってしまう。

また、他の多くのニューラルネットワークにしても、その構造は新旧の差は多少あれどどれも似たようなものである。

私がメンターとして関わっている、AIフロンティアプログラムでも、本来は機械翻訳のためにつくられたseq2seq構造を用いて、小説の創作支援をする研究テーマを採択しているが、原理よりもむしろ使い方の発見がこれからは重要になっていくだろう。もちろん原理を追求することも大事だが、同じくらいに使い方の発見の重要度が高いはずだ。