あけましておめでとうございます。

先日、MIT Technology Reviewにこのような記事が掲載されていました。

深層学習の過大評価は危険、ウーバーAI研究所の前所長が指摘

この論文を発表したのはニューヨーク大学の心理学者のゲイリー・マーカス教授。心理学者ということで、我々情報工学の立場とはまた違う立場で深層学習にできることとできないことを分離しています。

筆者はこのニュースを見て最初は反発したのですが、原文を読んでみると現状のディープラーニングの課題についてよくまとまっているのではないかと思いましたので紹介します。原文はこちら

■ディープラーニングの限界

マーカス教授によると、ディープラーニングは「無限のデータと無限の計算資源がある場合においては極めて有効である(In a world with infinite data, and infinite computational resources, there might be little need for any other technique.)」と語っています。

しかし、だからこそ限界があるのだ、というのがマーカス教授の主張です。

ここで述べられているいくつかの主張(マーカス教授は「限界」と呼んでいる)をまとめると

・Deep learning thus far is data hungry
ディープラーニングを十分行うには無限に近い教師データが必要である(が、実際にはそれを用意できない)

・Deep learning thus far is shallow and has limited capacity for transfer
今のディープラーニングは"浅い(理解しかできない)"ため、応用に限界がある

・Deep learning thus far has no natural way to deal with hierarchical structure
ディープラーニングには、自然に階層構造を扱う方法がない

・Deep learning thus far has struggled with open-ended inference
ディープラーニングはオープンエンド推論に苦労している。現状、実世界の一般的質問に答えることができない

・Deep learning thus far is not sufficiently transparent
ディープラーニングは不透明である

・Deep learning thus far has not been well integrated with prior knowledge
ディープラーニングは前提となる知識とうまく統合できない

・Deep learning thus far cannot inherently distinguish causation from correlation
ディープラーニングは因果関係と相関を区別できない

・Deep learning presumes a largely stable world, in ways that may be problematic
ディープラーニングは安定的な世界を前提にしており、それが問題をはらんでいる

・Deep learning thus far works well as an approximation, but its answers often cannot be fully trusted
ディープラーニングは近似としては良いが、完璧に信頼することはできない

・Deep learning thus far is difficult to engineer with
ディープラーニングはエンジニア向けではない

と、まあいろいろあるわけですが、原文を読むと後半はほとんど勢いで書いてる感じがします。極端に内容が短かかったり、議論が重複していたりするので。

さて、マーカス教授は最後に「Discussion(考察)」として、「ディープラーニングは全てのデータが手に入るクローズエンドの世界では完璧な方法である」ことを認めています。重要なのは「ディープラーニングが何であるかが誤解されていること」つまり過度に期待されていることが問題である、ということですね。

ですが、たぶんこの論文でマーカス教授が一番指摘したいところはここでしょう。原文を引用します。

Deep learning systems work less well when there are limited amounts of training data available, or when the test set differs importantly from the training set, or when the space of examples is broad and filled with novelty.

And some problems cannot, given real- world limitations, be thought of as classification problems at all. Open-ended natural language understanding, for example, should not be thought of as a classifier mapping between a large finite set of sentences and large, finite set of sentences, but rather a mapping between a potentially infinite range of input sentences and an equally vast array of meanings, many never previously encountered. In a problem like that, deep learning becomes a square peg slammed into a round hole, a crude approximation when there must be a solution elsewhere.

要は、ディープラーニングは閉じた系では完璧な手法であることは認めつつ、自然言語理解や翻訳などを単なる数学的写像として捉えるのは誤りであり、その言葉の奥に潜むより高次な概念を掴み取ることが現状できていない、そのためには別の手法を研究しなければならないということです。

これは知識ベースのAIをずっとやってきた人たちが一番主張したいことでしょう。

マーカス教授は典型的な「古くからの」人工知能研究者で、しかも心理学の立場から人工知能を見ていることがわかります。むしろ旧来からの人工知能研究者がここまでディープラーニングの成果を「認める」ようになったことに筆者は驚きました。

なんせ人工知能の主流派からはずっと鼻つまみ者あつかいされてきたのがディープラーニングを含む機械学習だったからです。

マーカス教授の真意を知るには、人工知能の研究には大きく分けて二つの流れがあったことをまず理解しないといけません。

ひとつは、深層学習に代表されるニューラルネットワーク派で、これは生物の神経回路を模した回路を作れば、知能のようなものが作れるのではないか、という派閥です。

もうひとつは、おそらくマーカス教授はこちら側でしょうが、知識というものを定義して、それを機械が理解できるようにする、構築主義的な派閥です。人工知能といえば、こちらが圧倒的主流派です。

筆者自身は幸い、本流の人工知能研究者ではなく、アマチュアの人工知能愛好家、とでも言うべき立場をとっていたのでどちらの立場も理解できます。マーカス教授の指摘にはある意味では同意でき、ある意味では的外れかもしれないと考えています。

近年、深層学習の成果があまりにも突出してきたため、旧来からの主流派は強い危機感をいだきました。最初は「あんなものはインチキだ」「まぐれだ」「研究とは呼べない」「信頼できない」というレッテルを貼ることで自分たちの立場を守ろうとしましたが、AlphaGoなどの登場で、いよいよ無視はできないということでしょう。マーカス教授は冷静に状況を分析し、主流派が今後、どうやって人工知能研究をしていくべきかという方向性を示すというのがこの論文の目的だと思います。

この論文では「階層構造」とか「オープンエンド」とかという言葉が頻繁に出てきます。驚いたのは、クローズエンドな状況では深層学習は最強であることをマーカス教授が認めている点です。深層学習をメインに開発している筆者でも、そこまで確信を持ってはいませんでした。「今、知られている方法の中では最善」くらいに思っていたのですが、マーカス教授はクローズエンドな環境では深層学習が完璧であると主張しています。

さて、ここで言うクローズエンドな環境とはどういう環境かといいますと、要するに問題がある程度整理され、ある程度決まったデータしか扱わない状況です。たとえばオフィスの稟議書とか、音声認識とか、そういう小さいタスクで閉じているということです。

つまりそれは「現実の問題をクローズエンドに閉じてしまえば、深層学習でなんでも解決できる(可能性が高い)」という主張ともとれます。

筆者は常々、深層学習を現実の問題に適用するときに重要なのはアルゴリズムではなくアイデアであるというようなことを主張しています。

現実の問題をいかにクローズエンドに閉じるか、というアイデアです。

マーカス教授の主張する、オープンエンドの問題というのは、どちらかというとドラえもんとかコロ助、欧米圏のキャラクターでいえば、スタートレックTNGのデータ少佐、スターウォーズのC-3POみたいな一般的な質問に答えることのできるアンドロイドです。

さすがに深層学習だけでそれができると考えている人は、深層学習コミュニティの中にはいませんが、確かに一般の方々にとっては「深層学習とやらがそんなにすごいというのなら、きっとC-3POみたいなものもすぐに作れるんだろう」という誤解を招くかもしれません。

筆者はこうしたマーカス教授の主張をどう感じているかといえば、「自分が思ったよりも広い範囲に限界があると考えているのだなあ」という感想でした。今のところ、深層学習はクローズエンドではほとんど完璧に持っていくことはできますが、完璧に持っていくための工夫は欠かせませんし、そもそも「どこでクローズにするか」という問題は人間が解決しなければなりません。

その意味では今のところ万能とは程遠いのです。万能というか、「ほとんど万能」な道具があるとして、重要なのはそれをどのように適用するかというアイデアを人間が持てるかどうかです。

缶詰が発明された50年後に缶切りが発明されたように、人類はまだこの深層学習という怪物の潜在能力を引き出してはいません。

また、マーカス教授の主張する「限界」はむしろ一般の人々が人工知能を過度に恐れているという誤った状況に対する正当な答えでもあります。

人類を支配するとか反逆するとかというのは、極めて「オープンエンド」な問題ですから、今の深層学習AIごときでは到底、想像することも不可能です。

残念ながら人類を支配してくれるAIの出現にはあと数世紀待たなければならないかもしれません。