AIが作り出す付加価値は前向きに取り上げられますが、一方でAIのリスクに関する議論はあまり盛んではないように思います。しかし、このところ欧州では、AIを導入する企業におけるリスクも注目されるようになってきています。

6月にロンドンで開催されたInfoSec Europeでも、来場者の注目を集めたセミナーの少なからずが、AIのリスクについてでした。ただ、このイベントでフォーカスされていたのは、AIによって引き起こされる社会変化やフェイクニュースなどのリスクではなく、AIを導入した企業における運用上のリスクです。

「How I make a living hacking AI apps」というセッションで実例を紹介したHeretek Cyber SecurityのJon Medvenicsは、経験豊富なセキュリティ専門家ですが、AIをハックする手法は実は全く新しいものではなく、これまでのシステムへの攻撃の手法と基本は同じだと指摘しています。

その基本は、データポイズニングであり、悪意がある形で改変したデータをシステムの脆弱性から潜り込ませます。例えば、サプライチェーン・システムで使用されるAIに改変したデータソースが注入された場合、企業側は気が付かない場合も少なくありません。また、運用する企業は大手企業というわけではなく、中小企業も少なくありません。担当者は限られたマンパワーで開発運用を行うので、脆弱性に気が付かない上に改変を検証することも困難です。

つまり、従来のシステムと同じく、脆弱性からの侵入が致命的になるということです。データの改変や悪意のあるデータの注入が、オフィスへ侵入した犯罪者により物理的に行われる場合もあるでしょう。

AIは、アウトプットの元になるデータに改変が行われた場合、従来のシステムのデータ漏えいや改変よりも被害が大きくなる可能性があるため、より注意が必要ということになります。例えば、品質管理の制御をAIで行っている場合、交通システムの振り分けやピークコントロールをAIに依存している場合、生体認証の承認等の場合です。被害を防ぐには、脆弱性の洗い出しや定期的なテストが必須です。

最も重要なのがデータセットの適切な管理であり、データが正確であるか、誰がデータセットにアクセスができるか、アップデートは適切か、といった従来は必要なかった作業が発生することになります。AIの導入により管理業務が増加するわけです。

資金やマンパワーが限られている企業の場合、AI導入によって得られる利益と、管理コストや増加するリスクのバランスを良く考えるべきでしょう。