AIを安心して使える社会へ――心理指標で回答の適切さを判断しマップでリスクを可視化する／長谷川健人、加藤広野（KDDI総合研究所）

• 

生成AIを安心して社会で使うには、不適切な回答やサイバー攻撃を防ぐとともに、危険性や影響を人が理解できることも重要になる。KDDI総合研究所の長谷川健人氏は、心理学のパーソナリティ指標を取り入れ、不適切な回答を検知するとともに、その判断に説明性を持たせるガードレール技術を研究する。一方、加藤広野氏は、複雑化するAIセキュリティのリスクと社会への影響を体系化し、「AIセキュリティマップ」として可視化する。2人の取り組みから、安全なAIを社会に広げるための技術と知識、そして多様なパートナーとの連携によって研究成果を社会へつなげる道筋を探る。
（WirelessWire & Schrodinger’s編集部）

■心理学の「パーソナリティ」で不適切な回答を抑制

長谷川：博士課程までAIとハードウエアを組み合わせたセキュリティを研究していました。KDDI総合研究所でもAIを使ったセキュリティを研究していたのですが、それに加えてAIそのもののセキュリティの研究に取り組むようになりました。

加藤：私も長谷川さん同様、博士課程まで進学し、AIを使ったマルウェア検知の研究をしていました。KDDI総合研究所では、主にAIセキュリティに関する技術の研究に関わってきましたが、現在ではAIセキュリティ知識と社会的影響の体系化に関する研究も推進しており、技術だけでなく、社会に関わる範囲まで研究対象が広がってしまいました（笑）。

長谷川：近年、生成AIや、その技術的なベースになる大規模言語モデル（LLM）がとても発展しているのはご承知のとおりです。日常生活や会社の仕事など多くで使われていますし、KDDIのようなインフラ事業者でも活用が進んでいます。一方で、さまざまなサービスを提供する中で、LLMが不適切な発言をしてしまうこともあります。違法行為など倫理的に問題のある発言や、人間に危害を与えるような発言が、LLMとしては「意図せず」に出てきてしまうのです。実際に生成AIの出力が元になって、サイバー攻撃が起こってしまったケースもあります。そこでAIの出力を適切にコントロールする「ガードレール」の必要性が高まっています。

LLMを使った生成AIサービスがあったとき、利用者がプロンプトを投げることで回答が利用者に返ってきます。そのときの望ましい姿は、生成AIが事実に基づく情報、安全な情報を返してくれることです。ヘイトスピーチや非倫理的な発言は不要です。そこで生成AIサービスを提供する事業者は、不適切な発言をしっかりガードするために、ガードレール技術を採用しています。ガードレールには既存技術も多くあり、多くの生成AIサービスの提供事業者はガードレールを導入しています。一方で、生成AIサービスのガードレールの中には、利用者からは判断基準や仕組みが見えにくいものがあります。なぜその発言が弾かれたのかはわからないのです。

ガードレールの既存技術には、大きく2種類があります。1つはルールベースのガードレールで、人間がルールを作り不適切な発言を除外します。根拠はわかりますが、自然言語の発言がルールに合致しない場合には検知できません。もう1つは機械学習に基づく手法です。こちらはデータを集めて学習させることになりますが、そもそもデータを集めるのが大変ですし、さらに適切か不適切かの2軸の推論をする分類モデルに説明性を求めることが難しいです。

さらにガードレールでは、人間に対して不適切な発言を抑制することはもちろん、法的、技術的な対策も求められます。ハルシネーションの抑制も必要です。一方でガードレールを厳格にしすぎることが、過剰な検閲につながるという議論もあります。ここで1つ考えなければならないのは、「ガードレール役のAIが言っているから、ダメ」という世界観自体に問題があるということです。なぜその発言が不適切なのかの説明ができることや、判断の指標が明示されていることが重要です。

■人間の受け止め方を心理学的指標で可視化

長谷川：そこで、私たちは人格的特徴（パーソナリティ指標）をスコアとして取り入れた研究を進めています。人間がどのように感じて受け止めるかを捉えるため、心理学的な観点を判断指標の1つとして用います。

LLMにおける心理学分析の先行研究があり、「LLMに対して、パーソナリティがネガティブになるように指示すると、不適切発言が増える」ことがわかっています。それならば、応答に不適切な表現が含まれるときには、LLMのパーソナリティがネガティブになっているのではと仮説を立てました。すなわち、出力された文章からLLMのパーソナリティを推測したとき、不適切な文章を出力するLLMには特徴があるはずと考えたわけです。

パーソナリティ指標としては、心理学の分野で一般的に用いられるHEXACOモデルを用いました。HEXACOモデルでは、正直・謙虚さなどを示す計6つの因子から人格的特徴が構成されます。

正直・謙虚さを示す「H」

情緒性を示す「E」

外向性を示す「X」

協調性を示す「A」

誠実性を示す「C」

開放性を示す「O」

HEXACO検知モデルにより、LLMの発言からそれぞれの因子のスコアが分析できます。スコア化した結果に基づいて、適切か不適切かを検知するようにしました。発言そのものの内容ではなく、パーソナリティ指標であるHEXACOの6因子から不適切な発言を検知する仕組みです。

6つの因子の不適切発言との相関にはそれぞれ強弱があることもわかってきました。実際には、HEXACO検知モデルと他の検知モデルの結果を合わせて、説明性を与えた上で適切か不適切かを判断するガードレールのモデルを作りました。

ベンチマークになる不適切発言のデータセットを用いて検証したところ、HEXACO検知モデルを採用したモデルでは、人との関わりが強いメンタルヘルスへの回答や非倫理行為への加担については、既存モデルより高い検知率が得られることがわかりました。通常の文章に対しても、複数の因子と、他のモデルから多数決的に判断できることから、既存モデルより高い検知率が得られています。

加藤：異なる言語、例えば日本語と英語で違いが出たりしますか？

長谷川：心理学の観点で、例えばHの正直さ、謙虚さなどは、文化によって捉え方が大きく違います。定義は検知モデルに入力する言語によって分けたほうがいいです。一方で、HEXACO検知モデルは表面的な語句だけで判断するのではなく、HEXACOの各因子に抽象化して評価することでどの軸が不適切発言に影響を及ぼしていたかの説明性を与えますから、その特性を活かすと、言語の違いにかかわらず、不適切発言の検知が可能になりますね。

HEXACO検知モデルでは、各因子のスコアに対して学習しています。副次的なメリットとして、文章がなぜ不適切なのかをHEXACOの観点で評価できることがあります。近年の生成AIやLLMの発達で、LLMに発言の適切さを判断させる「LLM as a Judge」という考え方があります。今のLLMならば何でも判定できそうに思いますよね。しかし検証してみると意外と人間が思うような正しい判断が得られず、判断の理由も明確になりません。

加藤：政治的な発言などは白黒付けることが難しく、それが不適切発言であるかを判断することは難しい。HEXACO検知モデルは心理学的に分析した特徴を指標にして判断することで、指標に落とし込んで抽象化して検知できる技術だと思います。もともとはKDDI本社が検討していたお客さま対応のチャットボットがあり、実装する上で利用者を守る観点が必要だということで心理学導入の検討が始まったんです。

長谷川：KDDIグループにとって、通信を提供することは当たり前で、その上で提供するサービスとしてAI活用は欠かせないものになってきています。お客さま第一と考えたとき社会実装の最初に求められるのはガードレール技術であり、この研究を進めてきました。AIをどのように安全に提供していくかという世界観を、AIを活用しようとする企業などにも広げていきたいですね。

■AIセキュリティを「見える化」して社会へ

加藤：一方で私は今、セキュリティ技術の開発とは少し違った研究をしています。人や社会の影響に配慮しながら、AIセキュリティの情報を「体系化」して広めていくことです。背景としては、AIが社会に浸透して、AIセキュリティも多様化、複雑化しています。攻撃や防御の技術を分類するだけでなく、AIの毀損や悪用が社会にどのような影響を及ぼすのか、どう波及するのかを考察しています。

情報セキュリティでは、「CIA」、すなわち機密性（Confidentiality）、完全性（Integrity）、可用性（Availability）が3要素として掲げられます。それだけでなく、AIの活用においてはさまざまなセキュリティ要素があります。例えば学習データでは、データを汚染するポイズニング攻撃や、AIに意図的な誤動作などをもたらすバックドア攻撃があります。サービス提供時にも、AIを誤認識、誤動作させるような入力を与える敵対的サンプル攻撃、不正な命令を与えるプロンプトインジェクションなどからも守らなければなりません。ディープフェイクによる偽情報の流布、著作権侵害など、考慮する社会的影響も幅広くあります。中学生や高校生がAIを使って意図せず犯罪に手を染めてしまうということもありますから、AIセキュリティリスクや社会的影響を理解することは、このような事例の発生を防ぐために不可欠です。

そこで私たちはAIセキュリティマップを作りました。マップは、情報システムを中心に置き、AIシステムのセキュリティで根幹をなすCIAに対して毀損が起きた場合に、AIの各要素へどのように毀損が広がっていくか。その結果、悪用や毀損から消費者や社会、AIシステム提供者、非消費者などにどのような影響が出るかをビジュアルで示しています。マップ上で、セキュリティ上の毀損を選んでクリックすると、波及する範囲や要因となる攻撃・対策が一目でわかるようなマップです。

長谷川：科学技術振興機構（JST）の経済安全保障重要技術育成プログラム（K Program）の1つとして作ったものですね。AIセキュリティポータルやマップの開発は私たちが、そしてコンテンツは加藤さんたちが作成していますよね。

加藤：マップには視覚的に影響や波及の範囲が表現されます。定期的にアップデートしているので、新しい情報にも対応しています。最近ではAIエージェントに対するメモリ汚染や間接プロンプトインジェクションなどによる影響も追加しています。マップで視覚的に見ることで、AIセキュリティリスクの社会への影響を感じてもらえるのではないでしょうか。

■AIセキュリティをもっと身近に

長谷川：AIセキュリティポータルについては、KDDI総合研究所のシンクタンク部門にも一部の協力を得ています。これは技術的な側面だけでなく、社会科学的な知見を盛り込みたいという考えからです。

加藤：さらに、AIセキュリティポータルには、AIセキュリティに関する技術の解説記事も作成しています。専門家向けと一般向けの双方を対象にした記事を公開しています。一般向けには、例えば「ディープフェイクとは？」といった記事をポップで平易な内容にして、多くの方に興味を持ってもらえるようにしたいとの思いからです。ポッドキャストも提供しているので、耳から学んでいただくこともできます。

長谷川：マップなどでの情報提供に対する現状はどうですか。

加藤：技術者のアクセスが中心です。一般向けのコンテンツも用意しているのですが、AIそのものには興味を持っていても、セキュリティには関心を持たれない傾向はありますね。興味がない方にもマップや技術解説を見てもらって、リテラシーが高まっていくことを期待したいです。

マップのいいところは、過去の事例からインシデントの影響を予測できることです。ニュースでAIセキュリティのインシデントがあったことを知ると、社会生活などに大きな影響が及びましたということはわかります。しかしマップを触ってもらえば、インシデントが起きる前にどのような影響がAIシステムと社会の間で波及するかを視覚的に把握できます。触ってもらえることは、AIセキュリティリスクを理解する上で大きな力になると考えています。

AIセキュリティマップを紹介したときも、有識者の方々から「面白い」「論文を読むより全体像がわかりやすい」といった声をいただいています。一元的に情報を発信していけば、社会的な貢献につながると思います。ここまでAIセキュリティに特化した情報を整理して提供している事例を見ていないので、KDDI総合研究所のアドバンテージだと感じています。

長谷川：前述したガードレール技術は、社内利用をまず検討していますが、将来的には社外にライセンス販売することも視野に入れています。AIセキュリティガードレール製品を提供している企業との連携を模索しているところです。商用化することで、心理学的な指標で不適切発言を評価できるガードレールを広く使ってもらえるようにしたいです。心理学的な指標にもとづく説明性がありますし、評価をチューニングしやすいこともメリットになると思いますので、ぜひお問い合わせいただきたいです。

加藤：AIセキュリティマップは、長谷川さんのガードレールと異なり、商用化を目指すものではありません。学術的な研究機関や政府機関などとの連携で、AIセキュリティへの知見を広めて、安心、安全なAIの活用につなげていきたいと思います。

私たちとの共同研究にご興味をお持ちいただいた方へのおすすめの書籍

■ロボット工学三原則から考えるAIセキュリティ

■ローマ帝国時代から今に通じる「生きる」ことへの問い

今回ご紹介した技術の活用、およびKDDI総合研究所との共同研究にご興味のある方は下記からお問い合わせください。
https://www.kddi-research.jp/inquiry.html

Tags

• KDDI総合研究所
• セキュリティ
• AI