古いテレビアニメ「鉄人28号」の主題歌に、「いいも悪いもリモコン次第」という一節がある。リモコンで遠隔操作されるロボットの鉄人は善悪の判断を自らは下さない。リモコンが悪者の手に渡れば、その能力を発揮して、器物損壊など違法な活動を行なってしまう。

AI（人工知能）にも善悪や正義はないので、人間社会や地球環境に役立ってくれるか、あるいは、害悪をなすようになるかは使う人次第ということになる。インターネット広告でどの内容をどの媒体に出せば効果的かとか、囲碁で次の一手をどこに打てば有利になり勝利に繋がるかを「学び」とって、疲れを知らずに（電力は消費して熱も発するけれども）効率的に素早く「考え」て、売上を大幅にアップし、囲碁の名人を打ち破ってしまうAIは、どうすれば人を困らせ、危害を加えることができるかについても、学ぶことができてしまう。

ネットセキュリティーのEndgame社のHyrum Anderson氏が、DEF CONで行ったデモで、同社がElon Musk氏のOpenAIフレームワークを使って、ウイルス対策ソフトのスキャンをかい潜るマルウェアを開発させたという発表があった。既存の"悪意あるコード"をほんの少しいじって、これまでのアンチウイルス・ツールをすり抜けるものに「改良」する。15時間、10万回の反復トレーニングを経て生成した亜種マルウェアの16％がすり抜けに成功したという。AIは飽きずに試行錯誤を繰り返し、ウイルス対策ソフトの反応を確かめながら「ゲーム」を進める。

守る側の次世代のウイルス対策ソフトも、新種のマルウェアを見つけ出すために機械学習を活用している。これまでプログラマー対セキュリティエンジニアという人と人とが戦ってきた領域で、機械と機械が争うようになるのだろう。

同じDEF CONでBishop Foxのエンジニアは、ハッキングするAIのデモを行った。ニューラルネットワークを使い、試行錯誤でウェブアプリケーションに侵入する方法を見つけ出す。侵入さえできてしまえば、さまざまな悪さが可能なことは明白だ。鉄人28号のリモコンは１つだけで、敵の手に渡らない限り安心だが、AIは1つだけではないから決して安心はできない。

【参照情報】
・Evading next-gen AV using A.I.
・Bishop Fox Introduces Hacking AI “DeepHack” at DEF CON 25