WirelessWire News Technology to implement the future

by Category

深層学習(ディープラーニング)は自然現象であると考えると捉えやすい

Deep neural network isn't a engineering

2016.06.16

Updated by Ryo Shimizu on June 16, 2016, 09:49 am JST

スクリーンショット 2016-06-09 8.03.23

 先日、北九州市で開催された人工知能学会の全国大会に筆者も参加してきました。
 特に印象的だったのは、ソニー・コンピュータサイエンス研究所(以下、ソニーCSL)の北野宏明所長の招待講演「グランドチャレンジの彼方へ」でした。

 北野所長は1993年にロボットによるサッカーチームで2050年のワールドカップ優勝を目指すという壮大なプロジェクト、ロボカップをスタートさせた創設者の一人でもあります。会場には学生時代にロボカップに参加したという参加者も多く、超満員の混雑ぶりでした。

 ロボカップ創設に関しては、アポロ計画を参考に半世紀後の世界大会で人間のチームに打ち勝つという大胆な発想を得た、一介のサラリーマンだった北野宏明氏が、MITやソルボンヌなど、全世界の一流大学を巻き込んで開催した第一回大会、そしてルイ・ヴィトンのオーナーを口説きにヨットの世界的な大会であるアメリカズカップに出掛けていき、その場のピッチトークでルイ・ヴィトンにロボカップの永久スポンサーになってもらう話しなど、伝説的なエピソードを自ら語られていました。

 ロボカップ委員会の本拠地はスイスのジュネーヴにあり、毎年、世界中を転戦しながら国際大会が開催されています。
 全世界のロボット研究者が注目する大会であり、ほとんどのロボットが試合開始でバグって動かないという初期の大会から、現在までたゆまぬ進歩を続け、いまや人間がボールの動きを目で追うのが難しいほどまで進化しました。

[youtube https://www.youtube.com/watch?v=WLOv2AFAZhc&w=420&h=315]

 そしてとうとう、人間との試合も行われるようになりました。
 これは今年、中国で行われたロボカップ・チャイナ・オープンの人間とロボットのサッカーの試合です。

[youtube https://www.youtube.com/watch?v=9CNuTSxVwt4&w=420&h=315]

 講演の中で最も印象的だったのは、「科学者は、いかに発見をするか?」という話です。

 科学の進歩が起きるきっかけは、セレンディピティ(幸運を捕まえる能力)、幸運な間違い、科学的直感の3つだと北野所長は言います。
 これはつまりどういうことかというと、我々人類は、ほとんど偶然によってしか科学的発見を得られなかったことを意味します。

スクリーンショット 2016-06-09 8.03.27

 要するに、実は我々(人類)は、科学的発見が得意ではないのです。

 世界では毎日4000本以上の論文が発表されています。年にして150万本。とても一人の人間が把握できる量ではありません。

スクリーンショット 2016-06-09 8.03.31

 しかしこれらの相関関係を見つけることで科学的大発見を得られる可能性は非常に高いと北野氏は訴えます。

 そこで北野氏が主張する次なるグランドチャレンジは、「医療、生命科学分野で、2050年までにノーベル賞級の発見をする人工知能を作ること」です。

 そのためには、新しい道具としてのAIが必要になるだろうと北野氏は訴えます。

スクリーンショット 2016-06-09 8.03.56

 石器時代、産業革命、そしてIT革命に続き、知識・知見を得る道具としてのAI革命が起きるはずだという大胆な提言をして講演は閉じられました。

 非常に夢のあるお話で、とかく悲観論に走りがちな欧米の学会ではあまり聞かれないビジョンに会場は興奮に包まれました。

 さて、その一方で、深層学習(ディープラーニング)は、研究対象になり得ないという主張もあります。
 なぜなら、なぜ上手くいくのか、理由がよくわからないことがあまりにも多いからです。

 私自身もプログラマーとして感じるのですが、深層学習にかぎらず、機械学習には理屈で理解できないことが少なくありません。
 たとえば、人工ニューロンの活性化関数として使われるシグモイド関数ですが、AND回路やOR回路のような簡単な論理回路の学習をシグモイド関数でやるとうまくいくわけですが、深層学習でシグモイド関数を使ってもあまりうまくいきません。反対に、シグモイド関数ではなく、深層学習で効果の高いReLU(Rectified Linear Unit, Rectifier, 正規化線形関数)をAND回路やOR回路の学習に適用すると、うまく学習できなくなります。

スクリーンショット 2016-06-16 9.11.42

 しかし、図を見てわかるようにReLUはシグモイド関数よりもずっと簡単な関数です。
 なぜ一方のケースではシグモイド関数のほうがうまくいき、別のケースではReLUの方がうまくいくのか、その理由はよくわかっていません。

 要するに「上手く行ったから、上手くいく」という以上のことが言えないのです。

スクリーンショット 2016-06-16 9.15.08
https://www.madewithtea.com/automatic-parameter-tuning-for-machine-learning.html

 また、機械学習では、様々なハイパーパラメータを調整する必要がありますが、最適なパラメータの組み合わせは何かということを根拠を持って明言することはできません。そこで通常はグリッドサーチという方法で、様々なハイパーパラメータを総当りで調べるのが一般的です。

 こういうことがあるので、技術者に話をすると、「そんな原理もよくわかっていない、あやふやなもの、コントロールできなくて使えないじゃないか」という話に行きがちです。だからこそ、まだ良い成績の出なかった時代は機械学習は統計解析などの限定的な分野や、迷惑メールフィルターや補助的な入力装置としての音声認識のような、間違ってもそれほど困らない分野にしか使われてきませんでした。

 ところが、深層学習によって機械学習が、「従来の方法より遥かに実用的」に使えることがわかった以上、使わないのは損です。そして機械学習によってこれまでに想像もつかなかったような新しいものを作り出すことが出来ます。 

 4月に幕張メッセで開催された「ニコニコ超会議」でのパネルディスカッション、「超AI緊急対策会議」では、東京大学の稲見昌彦教授が「人工知能が進歩しても、それは新しい"自然"として捉えれば良い」という発言をされていました。

 確かに、機械学習は工学的な技術と考えるよりは、自然現象の一つであると考える方がしっくり来ます。

 原理は解明されていないが工学的に制御できるから使う、という考え方は、なにも人工知能に限った話ではありません。
 そもそも物理現象すら、なぜ起きるのか解明されていないのです。

 工学の基本は、「再現可能な現象の前提条件を下層として受け入れて、上層を構築する」ということです。

 可燃性ガスに火がなぜ付くかを理解しなくても、可燃性ガスに火をつければ明るくなり、熱が発生することは誰でもわかります。それを前提として受け入れて、可燃性ガスのカセットと、電気火花を出す装置を組み合わせてガスコンロを作るのが工学です。

 プログラマーは、科学か工学かといえば、どちらかというと工学に属するわけですが、情報工学の場合、扱う対象が極度に抽象化された存在であるため、ときどき、このコンピュータを動かす半導体の作動原理にしても、実際のところ「この条件でこれが起きる」ということは分かっても、「なぜ半導体が成立するのか」ということについてはそれほど良くわかっていない自然現象であることを忘れがちです。

 プログラマーにとって、「ソースコードさえ読めば理解できる(はずである)」ということも、実際には膨大な知識が必要なことは敢えて深く考えずパーツとして利用するということがごく当たり前に行われています。

 たとえば、JPEG圧縮を扱うプログラムを書くのは、今や非常に簡単ですが、JPEGの原理である離散コサイン変換を理解しているプログラマーがどのくらい居るかというのは疑問です。そして、全てのプログラマーが離散コサイン変換を理解する必要が無いのと同様、深層学習も、ブラックボックスとして扱って、「画像を判定してくれる部品」とか、「音声を認識してくれる部品」と捉えれば、いくらでも工学的に制御可能なのです。

 今はまだ、深層学習の工学的な応用例がほとんどないためにいまだ深層学習に実際になにができるのか、どこまでできるのかということは霧の中です。
 しかし、すぐにでもできる工学的な応用を積み重ねてこそ、むしろ自然現象としての深層学習の理解も深まっていくはずです。

 優れた深層ニューラルネットワークを作るには、優れた教育戦略が必要で、今のところまだその部分は人間が考えなければならないところです。しかし、やがて訪れる時代には、深層学習は自然現象として研究されているでしょう。

 深層学習は多くの点で自然現象に似ています。
 まず、初期値が乱数であることです。

 また、学習時にもランダム性を多用します。
 たとえば学習時にランダムにニューロンを殺すドロップアウトや、接続を殺すドロップコネクトというテクニックがあります。
 学習データセットに関してもランダムに読ませますし、ミニバッチも大抵の場合はランダムに学習します。

 工学の分野で、こんなにランダム性に頼るものは他にちょっと見当たりません。
 むしろ自然現象の方がはるかにランダムな要素が介入します。

 通常、工学ではランダム性を廃するために定格を用いて条件を設定して、特定条件下ではランダムな振る舞いが全体に影響しないようにします。
 ところがどうしても排除できないランダム性があります。それは人間や、環境です。すなわち自然物です。

 深層学習は、いわば工学の世界に意図的にランダム性を取り入れることで、自然物である生物と似たような性質を持ったものを作り出すことだと考えることもできます。そもそもハイパーパラメータの最適解を求める方法がグリッドサーチしかないというのも、無茶苦茶な話です。

 だから深層学習は、プログラミングを工学だと捉える人からもあまり評判がよくありません。
 「なんとなく気持ち悪い」んです。最も深層学習を好ましくないと思っているのは、おそらく人工知能の研究者たちでしょう。

 偶然、筆者の周囲には、人工知能の研究者が何人も居ます。それぞれ、人工知能の分野では有名な先生たちです。ところが、彼らに「深層学習面白いですよ」と言うと、とりあえず「あんなの気持ち悪い」という否定から入るのです。なまじ自分も原理を知っているだけに、「そんな方法でうまくいくわけがない。いってたまるか」と思っているわけです。

 また、主流の人工知能研究者は、知識や感覚を構築主義的に解き明かすことを目的としています。
 つまり「作ることによって知能の原理がわかる」という前提があります。

 ところが深層学習の場合、「なんとなく生物の神経回路っぽいものを真似して作ったら動いちゃった」というのが前提です。
 ニューラルネットワークが単純だった頃は、これも数学的に解析すると「単なる行列計算」をしていると揶揄されたこともありますが、今ほど複雑になると、それこそ一人の人間が数学的に解析してニューラルネットワークがうまく動作する理由を発見するのは困難です。

 とはいえ、先生方ももともとは嫌いな方ではないので、最初は「いやー、深層学習なんかいらないよー」と言っていた先生方も、1,2週間もすると、「僕の深層学習用マシン、注文するから早く届けてよ~」と言ってくるのがおちゃめなところです。

 たぶん今、日本だけでなく世界中でこうした旧来の人工知能研究者と機械学習研究者の融合や論争が巻き起こっていて、お互いのいいところを取り入れながらハイブリッドな人工知能の構築が始まっているはずです。

 今月末、6月29、30、7月1日までの三日間、有明の東京ビッグサイトで「AI・人工知能ワールド」という、「ライス・ご飯ワールド」のような非常に奇妙な名前のイベントが開催されますが、大変な注目を集めているとのことで、弊社も出展することにしました。

 弊社の新製品もここで発表する予定です。お時間の都合が合えば、ぜひお立ち寄りください。事前登録すれば無料で入れます。

WirelessWire Weekly

おすすめ記事と編集部のお知らせをお送りします。(毎週月曜日配信)

登録はこちら

清水 亮(しみず・りょう)

新潟県長岡市生まれ。1990年代よりプログラマーとしてゲーム業界、モバイル業界などで数社の立ち上げに関わる。現在も現役のプログラマーとして日夜AI開発に情熱を捧げている。

RELATED TAG