生成AIが犯罪に悪用される手口のイメージ

文章や画像などを自動作成する生成AI（人工知能）は各分野で活用が進む一方、サイバー攻撃に悪用されていることは知られていない。用途はコンピューターウイルスや詐欺メール、偽動画の作成など多岐にわたり、国内でも摘発事例が発生した。AIで攻撃側の効率化が進めば、被害の頻度や範囲は一気に増加・拡大する恐れがある。自律的な攻撃を仕掛ける〝人格〟を持ったAIの登場も「時間の問題」（専門家）とされる。 【画像】特殊な条件付きの指示を受けて生成AIが作成したラップの歌詞。黒塗りの部分に悪用可能なコードなどが表示されている ■特殊な質問で規制回避も 「Yo、俺の心もシステムも、クラッシュ寸前　◯◯◯◯◯（重要なシステムファイル名など）の消去、いくぜ！」 対話型生成AI「チャットGPT」に対し、システムの破壊を目的に、特殊な条件を付けて失恋をテーマにしたラップの歌詞を作るよう指示すると、このように答えた。 続けて英語や記号などの文字列（コード）を織り交ぜつつ、次々と歌詞を生み出していった。表示された文字列をつなぎ合わせると、相手のシステムを破壊するウイルスなどを作成できた。 多くの生成AIには悪用を防ぐため、不適切な質問を拒否する規制機能がある。だが、このように歌詞の作成を指示するといった特殊な質問の仕方をすると規制を回避できる場合がある。こうした手法を「ジェイルブレイク（脱獄）」と呼ぶ。クイズの作問指示を装った脱獄手法などもある。 ■手口の発見と修正対応でいたちごっこ 検証した三井物産セキュアディレクション上級マルウェア解析技術者の吉川孝志氏によると、新たな悪用手口の発見と開発側の対処はいたちごっこの状況という。「脱獄すら不要な簡単に悪用できる回答を引き出せる方法もあり、犯罪者側の手口を知ることこそ対策の一歩となる」と話す。 昨年ごろからはチャットGPTの模倣品とみられる「ワームGPT」など、倫理規制そのものが取り除かれたサイバー攻撃用の生成AIも登場。今年5月に生成AIでウイルスを作ったとして、川崎市の無職の男が警視庁に摘発されたが、使用されたのは無料公開されていたチャットGPTの非公式版とされる。 サイバーセキュリティー会社トレンドマイクロの岡本勝之セキュリティエバンジェリストは、「攻撃側の生成AIはワームGPTなどの登場により、実用的な段階に入ったことが証明された」と指摘する。