OpenAI Gymというのがとても便利なのです。

　OpenAIは、イーロン・マスクなどが出資する非営利団体で、そのOpenAIが公開した強化学習用の検討環境がOpenAI Gymです。

　ごのGymは、ジムナジウム、すなわち体育館を意味していて、まさにAIが育つための体育館やトレーニングジムのような便利な環境と言えます。

　OpenAI Gymはさまざまな「ゲーム」や「環境」をAIに与え、AIがそうした環境で様々な振る舞いをし、自然にいろんなことを学び取るためのプラットフォームです。

　既に、昔のAtariのゲームやDOOM、Minecraftといった定番ゲームはもちろん、MuJoCoなどの三次元ロボット育成環境などが用意されています。

　AIがMinecraftを遊べるということは、それはそのまま、人間の子供とMinecraftの中で遊べるということも意味します。実際、MinecraftのオーナーであるMicrosoftは、Malmoという環境を提供しています。

　MinecraftのMalmoもまたOpenAI Gymに対応しているので、やはり他のものと同じように深層強化学習を試してみることが出来ます。

　筆者は以前から深層強化学習こそがディープラーニングの最後の本命であると考えていましたが、深層強化学習が登場したときには、人工知能の専門家と呼ばれる人々でも半信半疑でした。

　確かに、最初の深層強化学習の成果であるDeepMindによるDQN(Deep Q-Network)は、非常に限定的なAIに見えました。しかし、極めて単純な原理で動作していて、「これはもっと色々な工夫を加えていけばかなりのところまでいくのでは」と期待させるには充分なプロトタイプに思えました。

　
　実際に、DQNを開発したDeepMindはGoogleに買収されたあと、AlphaGoを開発し、深層強化学習が人間の最高知能ゲームと呼ばれる囲碁で勝利できることを証明し、世界を驚かせました。

　これは極めて単純な「事実」ですが、決して見過ごせないものです。これまでのようなチェスや将棋で勝つのとはわけが違います。

　そもそもDQNだけに注目しても、極めて単純な構造でさまざまなゲームの自動攻略に対応しています。既にこのAIは3歳児程度の知能(言葉を喋るとかではなく、単に機能とした見た場合の知能)は持っていると考えられます。

　最近の深層強化学習は、DQNよりもさらに進んでいて、たとえば「ボタンを押す/押さない」という単純な判断しかできなかったDQNに比べて、「レバーをこのくらい傾ける」といったアナログ量(連続量)に対応したNAFなどの仕組みも開発され、深層強化学習を適用可能な対象がどんどん増えています。

　最近は非同期で複数のエージェントを走らせ効率的に学習するA3Cや、内在性好奇心モジュール(Intrinsic Curiosity Module)などが研究されていて、単純な構造のDQNでは歯が立たなかった3D迷路などの複雑な問題にも対処できるようになってきました。

　Minecraftのように選択肢が多く考えることも多い高度なゲームでさえも、AIが遊べるようになった世界というのはどういうことになるでしょう。

　そこではまさに人間とAIが共生する未来の子どもたちの姿が見えるのではないでしょうか。

　人間の子供が夢中になるMinecraftにもしAIも熱中するとしたら・・・(まあAIの場合は熱中"させられてる"だけですが)・・・子供が積んだブロックをAIが積み増したり、子供が作った家をAIが増築したり、もしくは破壊したり、そういう経験を通してAIが学ぶことが出来るようになるとすると、これまでとは全く違った体験、全く違ったかたちのAIとの接し方が生まれていくのではないかと思います。

　もちろん今ある状態のままでは、まだまだ子供と互角に渡り合えるようなAIというのは出てきていません。もちろん昔ながらの方法でプログラムを作り込めば、或いはもっと簡単に知能が「高く見える」AIを作ることはできるが、それではあまり意味が無いので、できれば完全に赤ん坊の状態からAIをMinecraftで育てて、Minecraftネイティブな知的生命体(と敢えて言ってしまいますが)が、どのように環境に適応し、どんなことにモチベーションを感じていくのか観察するのはきっと面白い体験になりそうな予感がします。

　最初は通常の機械学習や強化学習と同じように、モチベーションを人為的に設定して「より高く」とか「より多くの資源を」とかで始めるとしても、最終的には自発的にいろんなことに興味を持って学習、進歩するAIが育った時、おそらくその振る舞いは人工知能の専門家だけでなく、Minecraftを普段から遊ぶ子どもたちでさえも驚くようなものになるはずです。

　さらにいえば、そうした人工知能を構成する様々な要素が、たとえば現実世界の写真で視覚を学習したモジュールをMinecraftの世界でも使うとすると、「彼」は現実世界で見た建物や花をMinecraft上で再現するようになるかもしれません。

　OpenAI Gymの素晴らしいところは、そうした個別の環境構築と、ニューラルネットワークの学習アルゴリズムを分離できることです。

　研究者はアルゴリズムの研究に集中し、開発者は環境の開発に集中できます。
　新しいアルゴリズムが開発されたら、それをすぐにいろいろな環境で試すことが出来ますし、逆に新しい環境を作ったらそれをすぐにいろいろなアルゴリズムで試すことができます。

　こうした技術基盤が急速に整備されていくところが、深層学習が急激に発展している理由のひとつと言えるでしょう。深層学習の爆発的な普及にはオープンソースという理念やgithubなどの環境が不可欠だったわけですね。

　益々これからどうなっていくのか楽しみです。