旬な話題をキーマンに聞く、ザ・キーマンインタビュー。今回は企業においても生成AIの採用が進む中、セキュリティ領域においても無視出来なくなってきた生成AIについて、米国セキュリティ企業大手のパロアルトネットワークス社の日本法人フィールドCTOのAjay Mishra氏に同社から見た生成AIについてお話をお聞きしました。

■第一部：「生成AI時代のセキュリティ」

大元:本日は有難うございます。生成AIが急速に企業に採用される流れがあります。このような状況下でCIOやCISOはどのようなアクションを取るべきでしょうか?パロアルトネットワークス社の見解を教えてください。

まず、生成AIの台頭により、セキュリティの風景はどのように変化していますか？

Ajay: サイバー攻撃者達はLLM(Large Language Models)を使い既に攻撃に悪用している可能性が出ていますし、今までのシグネチャー型の防御は既に時代遅れになっている可能性があります。こういったAIを悪用した攻撃から防御する必要性が出てきています。

大元: ChatGPTのようなLLMがサイバー攻撃者の武器として利用される脅威があるということですね。それでは生成AIの台頭により、パロアルトネットワークス社の顧客であるCIOやCISOはどのような点に懸念を示していますか?

Ajay: 生成AIの台頭により情報漏洩の懸念や、フィッシング攻撃への悪用を心配する声が出てきましが、やはりデータ漏洩の懸念が多いです。

大元:なるほど、生成AIの文書作成能力は確かにフィッシング攻撃に活かせそうですね。情報漏洩についてはどのような漏洩を懸念する声が多いですか?

Ajay: 情報漏洩にも色々なパターンがありますが、まず注意しなければならないのが社内の資料をそのままLLMに学習させてそれに対して分析をかけることなどですね。分析という行為自体は間違っていないですが、社内の機密情報をLLMに学習させてしまうと情報漏洩行為となってしまいます。

大元: 有難うございます。LLMを社内利用したいと考える企業は多いと思いますが、自社内に限定された情報などを学習させない工夫が必要ということですね。

次に、生成AIがもたらす最大のセキュリティリスクは何だと思いますか？

Ajay: 攻撃能力の低い攻撃者も生成AIを使って攻撃用のスクリプトやマルウェアを手に入れることができます。さらに最近プロンプトインジェクションと呼ばれる攻撃手法でLLMのセキュリティ自体を突破してしまう仕組みが報告されてるのも最大リスクとして捉えた方が良いです。

大元:スクリプトキディと呼ばれるような低レベルの攻撃者からの攻撃が増加する懸念があるということですね。それは確かにありそうですね。

プロンプトインジェクションによるLLMのセキュリティ突破についてもう少し具体的に教えて頂けますか?

Ajay:通常LLMに対してサイバー攻撃に利用する攻撃用スクリプトを生成してほしいという指示を出してもLLMの制限によって禁止されます。この制限を突破する行為がプロンプトインジェクションの定義となります。

LLMがいかにプロンプトインジェクションに脆弱であるか?といったより詳しい情報を知りたい方には下記のホワイトペーパーが参考になります。

https://arxiv.org/pdf/2306.05499.pdf

大元: 生成AIの進化により、企業が取るべき新たなセキュリティ対策は何ですか？

Ajay:生成AIが企業にもたらす生産性向上という側面だけを見ると今世紀最大のイノベーションと言っても過言ではないですが、セキュリティ対策という側面では情報漏洩が多くの懸念になってます。そこでLLM サーバー自体への通信を制御すべきかと思います。

大元:LLM サーバーに向かうどのような通信に対して制御を行うことが望ましいでしょうか?

Ajay:ここで言うLLMサーバーとはOpenAI社のChatGPTの話になります。パロアルトネットワークスのソリューションはChatGPTを含むOpenAIの通信を三つのAPP-ID(openai-base、openai-chatgpt、openai-api)で制御する仕組みを提供しています。特に以下の二つはChatGPTのトラフィックを制御します。

・openai-chatgpt: ChatGPTのWebベースインターフェイスのトラフィックをカバーします。一般にカジュアルユーザーはこのインターフェイスを通じてChatGPTを利用します。

・openai-api: OpenAIのAPI関連トラフィックをすべてカバーします。ChatGPTだけでなく画像生成などの機能も対象です。OpenAIはAIモデルをプログラムから利用できるようにするAPIを提供しており、このAPIを通じてGPT-3やGPT-4などのChatGPTを支えるAIモデルを利用できます。開発者がChatGPTを利用する際にはこちらの手法が一般的です。

詳しくは下記を参照して下さい。

https://www.paloaltonetworks.com/blog/2023/05/securing-and-managing-chatgpt-traffic/?lang=ja

大元: 有難うございます。APP-IDがChatGPT制御の肝になるということが良くわかりました。パロアルトネットワークス社のソリューションでどのようなリスクを軽減することが可能でしょうか?

Ajay: パロアルトネットワークスのソリューションは脅威インテリジェンスをベースとしたハードウェア及びソフトウェアからなるネットワークセキュリティ、マルチクラウドの設定ミス検出及び脆弱性に対応するクラウドセキュリティ、SOCの改革を行うCortex製品からなってます。

攻撃者には制約がなく攻撃手段は自由です。ネットワーク/クラウド/エンドポイントを包括的にカバーすることでサイバー攻撃からのリスク軽減につながります。特に生成AIにはネットワークセキュリティの製品から生成AIのトラフィックを細かく制御することによってリスクを軽減することが可能になります。

大元: CIOやCISOが取り組むべきセキュリティ課題として優先順位をあげるとするとどういったものが考えられますか?

Ajay: AI/MLの活用の徹底と複数製品の統合化です。これらを運用するための自動化の課題と人材のスキルセットの不足も課題になるためこれらを改善する必要があります。まず自動化は優先度を高くして対応する必要があるでしょう。自動化とは攻撃検知の自動化や攻撃発生時の対応の自動化等様々な観点があると考えられます。

大元:自動化が進んだ場合の人材のスキルセット不足とはどのようなスキルの不足が考えられますか?

Ajay:セキュリティその物の理解不足、例えば攻撃手法の理解不足であったり、これから攻撃手法が変動していくことによってそれらの対策にAI/MLが多く使われていく、こういったトレンドに追随出来なかったりというスキルセット不足という意味合いです。

大元:有難うございます。確かにこれまでもサイバー攻撃は新しい技術が登場するたびに手法や対策技術が変化してきました。生成AIがサイバー攻撃に悪用されることで、これらの攻撃手法のトレンド変化の速度が加速し、またそれらの防御にもAIが活用されていくので防御技術の変化の速度も早くなり、それらに人が追いつかなくなっていく可能性があるということですね。非常に重要な課題ですね。

■第二部:生成AIを活用したSOCの近代化

大元:生成AIをサイバー攻撃者側も活用してくると仮定すると防御側の要であるSOCも進化していく必要があると思います。パロアルトネットワークスではAIを活用することで自社SOCの近代化に成功していると聞きます。これについて教えてください。

まず、近代化前のSOCは何名規模で運用されており、それに伴う課題としてどのようなものがありましたか?

Ajay:近代化前には約5名でSOCを運用していました。当時は自動化も殆ど行われておらずMTTD(Mean Time to detect)/MTTR(Mean Time to respond)が長いという課題がありました。人が少なかったということもありますが、使っていた製品が複数あり、統合されていなかったということもMTTD/MTTRの長期化の要因でした。

大元: 複数の異なる製品を監視することは簡単ではありませんからね。近代化後にSOCは何名程度となり、どのような改善が達成されたのでしょうか?

Ajay: 今現在SOCは22名で運用しています。MTTD/MTTRも数分/数秒へと改善されました。

大元:近代化前の方がSOCの人員は少なかったのでしょうか?

Ajay:少なかったというより「5名から始めた」という方が正しいです。

大元:現在22名でSOCを運用しているということですが、パロアルトネットワークスの規模を考えると少なく感じますね。このSOCが保護対象としている社員数は何万人程が保護対象となっているのでしょうか?

Ajay:13,500人を超える社員が保護対象となっています。

大元: パロアルトネットワークスの従業員は世界中に点在していると思いますし1万人を超える規模の社員を22名で守ることが出来ているのは凄いですね。近代化によってAI化出来たSOCタスクと、人間が実施すべきタスクとしてどのようなタスクが残りましたか?

Ajay:AI化出来たタスクとしては明示的に攻撃と判断可能な攻撃は検知から駆除までを自動化出来ています。例えば従業員がマルウェアを含む未承認のソフトウェアをダウンロードした場合、人間のアナリストが介入する前に、システムが自動的に脅威に対応するといったことが実現出来ています。一方で人間が対処しているケースとしては脅威ハンティングが必要とされるような高度な攻撃に関しては高度な専門知識をもった人間の力が必要となります。

大元:単純な攻撃はAIが自動的に対処し、高度な判断が要求されるシチュエーションにおいてはまだまだ人間が必要ということですね。

単純な攻撃はAIで対応の自動化が可能ということですが、SOCアナリストは「アラート疲れ」とよばれる現状に苦しんでいると聞きます。AI化によって人間が対応しなければならないアラートはどの程度削減出来たのでしょうか?

Ajay:パロアルトネットワークス SOCのある一日の例で示すと何も手を加えていない生アラートが1100万件発生しました。ここからAIによって意味があると推測されるアラートに厳選され133件に絞られました。さらにそこから14件が自動で処理されました。残りの119件が人間が対応しなければならないアラートの数となりました。

大元: 1100万件発生したアラートがAIによって119件に減少したのは絶大な効果ですね。近代化されたSOCで今後必要とされるセキュリティプロフェッショナルにはどのようなスキルセットが求められていますか？

Ajay: 攻撃手法が変わってきていますから既知の攻撃手法に対してこれまで通りのやり方で対応しているだけではスキルセット不足になっていくと思います。未知の攻撃に対応していくには自動化/AI/データサイエンスのスキルが不可欠になります。

大元:おっしゃるとおりですね。サイバー攻撃手法は常に変化し続けてきました。特に企業が新しいITを採用する初期段階は対策方法に関する定石も存在せず、脆弱な部分が出来やすい時期です。このような変化の時期に既知の攻撃手法だけを想定した守りでは、十分とは言えなくなってくるでしょうね。

自動化/AI/データサイエンス、セキュリティのプロといえどもセキュリティだけでは時代に取り残されるかもしれない。非常に示唆に富んだお話を聞かせて頂き、Ajayさん有難う御座いました。