深層学習は、そもそも何が大きくこれまでの方法とは異なるのか？

実は、そこまで大きな違いがあるわけではない。

未来を予測するために、どの要素に注目すれば良いのか？それを学習するのが機械学習だ。その注目するべき要素を調べるためにデータを入力する。いわば経験値を稼ぐためだ。

このときに、あらかじめデータのどの部分を入力するべきか。ここに当初は人間の経験技が必要であったというわけだ。一方で、現代的な機械学習は、その経験技によらず、どの部分が重要な要素の欠片となるかすらも自動的に学ぶことができるということを組み込んだ。

ここが、深層学習のこれまでとは異なる部分である。つまり未来を予測するために、「どんな要素を取り入れたら良いのか？」すら学習から会得しようというわけだ。

その顕著な部分が「事前学習」と呼ばれる方法論で実行されている。深層学習にはとりわけたくさんのデータが必要とされると言葉で言うが、実際には何をしているのか、それがこの事前学習と深く関わっている。

「画像」を見て、犬と猫の識別を行うことを考えてみよう。

このとき、データとして持っている１匹の犬。その犬の画像が多少ずれても、犬は犬だ。もちろん猫も猫だ。1pixelずつ、縦横斜めにずらした画像データすらも犬は犬だ。回転させても犬は犬だ。逆さまにしても犬だという事実は変わらない。

とにかくそうして犬というものはこういう画像になるということを徹底的に教え込む。同様に猫も教える。動物というものをとにかく画像として表示するとこういうものだということを教える。これが事前学習だ。

時には画像を少し汚すことすらある。白黒にしても犬は犬だし、色の調子が変わってもノイズが乗っても犬は犬だ。

こうして学習させることで、（入力した画像が動物に限定されるのであれば）「画像というデータ形式において、動物というものはこういうものだ」という全てを教え込んでいることになる。こうしてさまざまな見え方を教えることで動物という概念を教えている「気分になる」。実際のところ本当にうまく概念を習得できたかどうかは議論を呼ぶところだろう。

一つ一つの画素に本来は意味がないのだから、画素が異なることで犬か猫かということを識別するのではなく、画素から入力された複雑な組み合わせで、初めて犬と猫の違いを識別できるように、画素にさまざまな加工を加える。

画素から入力された複雑な組み合わせを考えるというのは、様々な変形を施してみるということだ。数学の世界では、変換という呼び方をする。例えばゴムの表面に絵を描いて、それをビョーンと引き延ばすことも立派な変換である。そう言った画像をぐにゃぐにゃ変形させても犬は犬とみきわめられるところを全て教え尽くす。これが事前学習の役目だ。

この事前学習は、「事前」という言葉がある通り、一部の深層学習の方法では最初に行う前処理的な扱いをされているが、概念としては、もっと壮大なのだ。

「世界の全てを見せてやろう。」

ということをしている。

深層学習のために組み上げられた人工的な脳機能を模した数学的なモデル、プログラムのアーキテクチャ、関数は、我々の世界のことなど何も知らない。その世界の一部を教えて、「この範囲で犬と猫を識別しろ」ということをしていたのがこれまでの機械学習だ。しかし事前学習という方法論では、この世界の全てを教えて、その中で犬と猫を識別させようというわけだ。

動物の識別をするために、動物というものの全てを見て回った修行の後に帰ってきた冒険者の姿が目に浮かぶ。

さて事前学習を終えた後、仕上げとして微調整を行う。「いろいろ変形させても動物は動物だ」ということを学習したシステムに対して、「犬と猫というものは異なるものだよ」ということを教えてやる。これまで教わった変換のさせ方とは異なる方法で、犬と猫が区別されていることを知るのだ。そうして初めて動物の間の「区別」ができるようになるというわけだ。

大量のデータの役割は、「この世界がどのようにできているか」ということを教えることだ。そう考えると、動物に限らず、世の中にあるもの全てを見せてやりたい。そしてそれをすればするほど、どんどん学んで賢くなるとなれば、事前学習をさせて、これまでになかった識別精度を持つ、予言能力を持ったシステムを構築したくなる。

目標は明らかなのだ。言語を習得させたければ、Web上やSNSの文章を解析させるだけにとどまらず、Twitterなどにbotを投入して多くのユーザーを対話させることで学びを加速させて放っておけば良い。

人生は勉強の連続であると言った通りだ。有限の寿命と有限の移動範囲、経験が有限の人類とは異なり、原理的には無限の寿命と無限の移動範囲、経験は無限であるコンピューター。とにかく勉強をさせてあげれば良い。

そのためにデータをどれだけ加速度的に入力させるか。
そのためにデータをどれだけ高速に処理することができるか。

この２点が未来へ向かう現代がするべき投資目標であることは明白だ。

そのために新しい方式のコンピューターとして量子コンピューターを求めたり、機械学習を専門とする低コスト省電力で、しかし処理能力の効率化が図られたgoogleのTPU(Tensor Processing Unit)などが提案されているのだ。

スタートが速いか遅いか。
途中が速いか遅いか。

日本がスタートに遅れているとするなら、追い抜くための方法論を確立することしか生き残る道はないのだ。

それが知的情報処理の最前線であり、残された道なのだ。