生成AIが世論操作のコスパを上げる、その本当の危険度とは？
生成AIが世論操作のコスパを上げる――その本当の危険度とは何なのか？
スタンフォード大学、ジョージタウン大学、そして生成AI「チャットGPT」の開発で話題のAI研究所「オープンAI」が1月11日、その問題点を整理した報告書を公開した。
報告書の焦点となっているのは、テキスト生成AIの進化による、フェイクニュースなどを使った情報戦としての世論操作（影響工作）へのインパクトだ。
AIが情報戦に与える影響はかねて指摘されてきた。
ウクライナ侵攻では、偽ゼレンスキー大統領が「降伏宣言」をするディープフェイクス動画が出回った。AIを使ったフェイク動画・画像は、すでに戦場に投入されている。
ただ、これまではAIを使ったフェイクコンテンツの作成には、一定の知識が必要だった。
だが、生成AIでは、専門知識のないユーザーでも、簡単な指示を与えるだけで、人間による作成と見分けがつきにくい高品質の画像やテキストをつくりだすことができる。その登場で、局面は大きく変わった。
特に2022年11月に公開されたテキスト生成AI「チャットGPT」に対しては、マイクロソフトやグーグルも即座に対応の動きを見せている。
生成AIは、情報戦に何をもたらすのか。
●規模拡大と安上がり
（生成AIによる）言語モデルを使った影響工作は、規模拡大（スケール）が容易になり、現在は高価な戦術（パーソナル化されたコンテンツの生成など）が、安価になる可能性がある。また、言語モデルによって、チャットボットのリアルタイム・コンテンツ生成のような、新たな戦術が生まれるかもしれない。
スタンフォード大学インターネット観測所、ジョージタウン大学セキュリティ・新興テクノロジーセンター、オープンAIが1月11日に公開した報告書「生成言語モデルと影響工作の自動化：新たな脅威と軽減策の可能性」は、そう指摘する。
スタンフォード大学インターネット観測所は、ソーシャルメディア上の影響工作の分析、ジョージタウン大学セキュリティ・新興テクノロジーセンターは国家安全保障とテクノロジーの研究で知られる。
イーロン・マスク氏らが2015年に設立した研究所、オープンAIは、画像生成AIの「DALL·E 2」、テキスト生成AIの「チャットGPT」を手掛ける、生成AI開発の中心拠点の一つだ。
2022年11月30日に公開した「チャットGPT」は、チャット形式でテーマを指示することで、テキストやプログラムを自動作成するチャットボットだ。
自然な対話と高品質のテキスト生成の性能を受け、マイクロソフトはオープンAIに100億ドルの追加融資を検討、と報じられ、グーグルでは経営陣が社内に「コード・レッド（警戒警報）」を発令した、とも報じられている。
今回の報告書では、オープンAIが2020年に公開したテキスト生成AI「GPT-3」は検討対象となっているが、最新の「チャットGPT」への言及はない。
生成AIがこのような進化をさらに重ねていく一方、それが国内外の世論操作を狙う影響工作に利用された場合、どんなインパクトを及ぼし、どう対処すべきか。
それが30人の専門家が参加したワークショップを含め、1年以上をかけた報告書の研究テーマだという。
よく知られた影響工作としては、2016年の米大統領選にロシアが介入し、ソーシャルメディアを舞台にフェイクニュースを氾濫させた事例がある。
そのような影響工作に、生成AIを投入するとどんなインパクトがあるのか。
影響工作のアクター（実行者）からみれば参入のハードルが下がることを意味する。そして、実行の側面からみれば、上述のように規模拡大とコストの低下、つまりコスパ（費用対効果）が上がるのだという。
●想定される悪用例
報告書は、影響工作に使うコンテンツの面では、こう述べる。
言語モデルを搭載したテキスト生成ツールは、特に（影響工作の）ターゲットに関する言語的・文化的知識が不足しているプロパガンダに比べ、よりインパクトや説得力のあるメッセージを生成できる可能性がある。また、コピー＆ペーストなど時間節約のための手間をかけずに新しいコンテンツを繰り返し作成できるため、影響工作が発見されにくくなる可能性もある。
影響工作の検知には、言語表現などの細かい不自然さが手がかりになることも多いという。また、「コピーパスタ」と呼ばれるコピー＆ペーストによるコンテンツ量産は、同一文面が繰り返されることから足が付きやすい。
「社会の声」の捏造のような工作は、すでに大規模に行われている。
2021年には、米連邦通信委員会（FCC）が2017年に実施したネット中立性廃止をめぐるパブリックコメント2,200万件のうち、1,800万件近くが捏造されたものだったことが、明らかになっている。
このうち850万件は、中立性廃止を後押しするコムキャストやAT&Tなど大手通信会社による業界団体が資金提供していた。一方では、中立性支持の19歳がたった一人で770万件のコメントを捏造していた、という。
生成AIの進化によって、「街の声」「ネットの声」を含むこのような大規模な捏造も、ずっと目立たない形で行われるかもしれない、と報告書は指摘する。
サイバー攻撃の端緒となる「フィッシング」への悪用も想定されている。
フィッシングは、ターゲットの個人的な状況を踏まえて、同僚や知人などになりすましたメールを送り、ウイルス感染のリンクをクリックさせたり、IDやパスワードを入力させたりする。
ただ、ターゲットに関する情報収集には、手間と時間を要する。
そんな手間も、生成AIによって自動化し、ターゲットごとにパーソナル化できる可能性があるという。
また、イーロン・マスク氏によるツイッター買収の際に焦点の一つとなった、自動応答を繰り返すアカウント「ボットアカウント」も、より洗練され、検出しにくくなる可能性があるという。
※参照：「Twitterのボットは何％？」マスク氏の質問が的外れなわけとは（05/30/2022 新聞紙学的）
●脅威の軽減策とは
脅威の軽減策に、銀の弾丸（決定打）はない、と報告書は述べる。
その上で、生成AIモデルのテクノロジー面の対応、生成AIモデルへのアクセス制限、生成コンテンツの配信段階の対応、ユーザー側のメディアリテラシー啓発などの対策の連携が必要だとする。
テクノロジー面の対応で挙げられるのが、AIによる学習データやコンテンツ生成の過程で、追跡や検出がしやすい特徴的なデータを埋め込むというものだ。
コンテンツにその作成日や作成者、使用ハードウェア、編集記録などの「出所情報」を暗号署名することで、ネット上で流通される際の真正性を担保する規格を使う、という方策も取り上げられている。
報告書は、そのための標準化団体としてアドビやマイクロソフト、BBCなどが参加して2021年に設立された「C2PA」を挙げる。
コンテンツの出所情報については、日本でも朝日新聞やニューズ・コーポレーションなどが参加する「オリジネーター・プロファイル技術研究組合」の設立が2023年1月17日に発表されており、やはり標準化を掲げる。
●メディアのAIコンテンツの波紋
AIによるテキストの自動作成は、数年前からメディアでも実装されている。
AP通信ではすでに2014年から企業の決算記事をAIで自動作成し、その後、スポーツ記事などにも対応範囲を広げている。
日本でも、メディアがAIを使った自動作成を導入している。日本経済新聞が2017年から「決算サマリー」で企業の決算記事、朝日新聞が2018年から「おーとりぃ」で高校野球の戦評記事を、それぞれ自動作成している。
これらは、AIによる自動作成であることを明示している。
だが米国で、そうとは明示されず“ステルス”で配信されていた事例が明らかになり、「ジャーナリズムの大惨事」などと批判を浴びている。
批判が向けられているのは、米テクノロジーサイトのCNETだ。
きっかけは、検索エンジン最適化（SEO）を手掛けるゲール・ブレトン氏が、CNETによる70本以上に及ぶ“ステルス”AI作成ニュースを発見したことだった。
ニュースの署名は「CNETマネースタッフ」とされており、そこにカーソルを合わせると、ポップアップで「自動化テクノロジーで生成」と説明書きが表示される仕組みで、AI生成とはわかりにくい体裁だった。
そしてブレトン氏は、その目的がグーグルで上位表示されるためのSEO対策のように見える、と指摘した。AIを使い、安価にSEOでのアクセスを稼ぐ試み、という見立てだ。
さらにCNETは人間の編集者がチェックをしていると説明していたが、別の米テクノロジーサイト、フューチャリズムが、そんなAI生成ニュースに極めて初歩的な間違いが複数あることも指摘した。
「チャットGPT」の公開で、すでに生成AIの可能性と危険性が焦点となっている中、CNETはメディアの一角で後ろめたい使い方をしていた。
だが影響工作のアクターには、そんな後ろめたさなどない。もっとずっと思い切った、そしてずっとわかりにくい使い方をするのだろう。
（※2023年1月20日付「新聞紙学的」より加筆・修正のうえ転載）
