百聞は一見に如かずという言葉がある。

ところが、現代の、もしくはこれからの文明の礎となるはずの人工知能という分野において、「一見」するための研究はあまり熱心に行われていない。

というのも、基本的には人工知能、とりわけニューラルネットワークが扱う情報は可視化するのが不可能に限りなく近いように感じられるからではないだろうか。

ニューラルネットワークが扱う情報は通常、100次元から数万次元に及び、それを概略化した図形を見たとしても全貌が杳(よう)としてつかめないのが普通で、いつしか人工知能の研究者たちはもっぱら「性能」を意味するグラフしか見なくなってしまった。

性能を示すグラフは、確かに可視化の一手法ではあるが、それだけでは影の長さだけから太陽を観測するに等しい。要は本質的なことは何もわからないのである。

人工知能というものが特異なのは、それが生み出される根拠は極めて人工的なプロセスを経るのに対して、生み出されたそれそのものは、全く自然科学的にしか理解も想像もできないところにある。

通常、工学的または理論的に生み出された発明物は、発明者がその性質の大部分を把握できる。しかしニューラルネットワークは違う。
それが本質的にどういう性質を持つか、発明者はもちろん、その訓練を担当した人間も、それを使う人間にも予想がつかない。

実際のところ、あるニューラルネットワークがあったとして、それが実際的にどのような性質を持つものになり得るのか、実験によってしか確かめることはできない。

あるタスクを学習させたニューラルネットに対して、どんな尺度で性質を測るか、まず一番簡単なのは、学習させたタスクと似たタスクを用いてその「正解率」を測るという方法がある。これがうまくいっていれば、それは汎化性能として知ることができる。

だがこの性質だけからでは、あるタスクに対して学習したニューラルネットワークに対して新しいタスクを追加で学習させたときに容易に高い性能を発揮することの説明はできない。

筆者は戯れにニューラルネットという得体の知れないものを知るためのひとつの手がかりとして、全結合のニューラルネットワークとは実際にはどのような形状をしているか可視化してみるということを試みてみた。

これは400次元の入力層を25次元に結合したニューラルネットワークの層構造をレンダリングしたものである。
こんな単純な構造のものでもレンダリングにはかなり時間がかかる。

もう少し近づいてみよう。

近づいて観察してみると、水色の透明な立方体で示されたニューロンから、25本の直線が伸びて出力層のそれぞれのニューロンに接続されていることがわかる。

逆に出力層側から見てみると、確かに入力層に向かって線が伸びてるのがわかる。

幾何学的な性質を考えれば、この様子は極めて美しい。
しかしここまでやってみて、自分が根本的に間違っていたことに気付いてしまった。

ここで示したニューラルネットワークの構造は、確かに構造としてはニューラルネットワークの全結合層を示してはいるが、ニューロン間の結合状態は一様ではないので、この図は半分正しいが半分間違っているということになる。

もっとリアルな図にしたければ、この図における軸索(axon)に相当する部分の太さは不揃いでなければならない。

そこでその操作も加えてみる。

すると、見えてくる景色が全然違ってくる。

幾何学的な整然さは失われ、代わりになにか生物的な怨念めいたものが感じられるようになってくる。

軸索は本来このように不揃いなもので、この不揃いさが学習によって獲得された結果、我々人類が単に「性能」としか認識できない現象を生み出すことになる。

この不揃いさは確率論的な性質によってしか変化し得ず、この不揃いさに意味はあるのだが、見ただけで読み取れるようなものではない。

ごく単純な全結合ネットワークを可視化してさえこうなのだら、畳み込みニューラルネットワークの可視化はさらに複雑を極めることになるだろう。

拡大してみてみよう

ほんとうに微かな変化ではあるが、どことなく生物的なニュアンスが加わったのがわかるだろうか。

これをよく使われる三層構造のニューラルネットワークとしてさらに拡張してみる。
こうすると、いかに第一層の情報量が多いのか一目見てわかる。

ニューラルネットワークを可視化することは、その手軽さに比べて実際に行われることが少ないのは、可視化することによる恩恵がわかりにくいからかもしれない。

しかし、ニューラルネットワークの性質を直感的に知ろうとすれば、可視化には一定の意味があると見出せる。
三次元的に可視化することで、得体の知れないものから、なにか頭の中で実態を伴ったイメージに変化するのは面白い。

時間と予算が許せば、たとえばこれを光造形の3Dプリンタで立体物として出力したりするのも面白いだろう。展示方法に工夫は必要だが。

そうすると、ニューラルネットワークというものが、実はひとつの大きな結晶のようなものにさえ見えてくる。
もちろん天然の結晶とは根本的に構造が異なるが、あるルールに基づいて作られた結晶めいたものがニューラルネットの本質なのではないかという気がしてくる。

今回は典型的な全結合のニューラルネットワークのみを扱ったが、たとえばこれが遺伝的アルゴリズムによって人工進化したニューラルネットワークだった場合に見え方がどう変わるか。それはそれで興味深いものがある。

ニューラルネットは可視化することで新しい洞察を与えてくれる。
こう言うものが手軽に作れる時代になったことは素直に喜ばしい。