生成AI悪用で最多は「世論操作」約3割、その実態とは
生成AIの悪用で最多は「世論操作」で約3割に上る――。
グーグルのAI部門、ディープマインドと研究部門、ジグソーの研究グループは、6月19日付でそんな調査結果を発表した。
「選挙の年」2024年に懸念されているのが、急速に高度化する生成AIの悪用による選挙介入だ。
その懸念を裏付けるように、生成AIの悪用の約3割が、選挙などへの介入を目的とする「世論操作」であることが、200件を超す悪用事例報道の調査でわかったという。
生成AIの悪用による情報汚染が広がれば、「現実の理解が歪められる」と研究グループは指摘している。
●政治的分裂を招く
調査期間中に、生成AI機能の悪用で最も多かった目的は、世論の形成や影響を及ぼすことだった（報道されたケース全体の27％）。これらのケースでは、アクター（実行者）は、人々の政治的現実への認識を歪める幅広い戦術を展開していた。これには、公人へのなりすまし、人工的なデジタルペルソナを使用して、あるテーマへの草の根の支持や不支持の捏造（「アストロターフィング」と呼ばれる）、偽装メディアの立ち上げ、などが含まれる。
ディープマインドとジグソーの研究グループは、6月19日付で論文公開サイト「アーカイブ」に掲載した調査報告で、そう述べている。
研究グループは、生成AIブームの火付け役となったチャットGPT登場の2カ月後、2023年1月から2024年3月までの期間に、生成AIの悪用を取り上げたメディア記事200件超を分析。生成AI悪用の手法や目的を分類し、その傾向を整理した。
その結果、悪用の目的（全体で249件）の中で最も多かったのが、「世論操作」（66件、26.5％）だった。
我々のデータセットに含まれるケースの大半で、戦争、社会不安、経済衰退など、政治的に分断を生むようなトピックを巡る、感情を揺さぶる合成画像を生成していた。例えば、米国、カナダ、ニュージーランドの選挙キャンペーン中に、政党スタッフや国家に支援されたアクターによって共有された画像や広告は、都市の衰退、ホームレス、不安の情景を描くことが多かった。ウクライナ軍がロシア領内に侵入した後、プーチン大統領が戒厳令を宣言する、などの、政治家が物議を醸す政治的立場を支持する姿を偽装したり、政敵を個人的に攻撃したりする、AI生成の「リーク」と称される動画や音声クリップも多かった 。
調査報告はその具体的な事例も参照している。
2023年12月には、米共和党が国立公園を移民のテント村で埋め尽くす生成AI画像を使った広告で民主党を批判したケースがある。またそれに先立つ同年8月には、ハワイ・マウイ島の火災に際して、中国の影響工作ネットワーク「スパモフラージュ」が生成AI画像とともに「気象兵器によるものだ」との陰謀論を拡散したと報じられている。
※参照：アメブロ、ピクシブ、楽天ブログ…「ハワイの山火事は気象兵器」中国発の陰謀論、日本も標的（09/15/2023 新聞紙学的）
●広告収益、詐欺広告
収益化に関連して蔓延していた戦略が、コンテンツファーミング（大量のコンテンツを大規模に生成すること）だ。この戦略は、主に個人ユーザーや、時には小規模企業が関与しており、アマゾンやエッツィーのような（Eコマースの）ウェブサイトに掲載するために、低品質のAI生成事や書籍、商品広告を作り出し、コストを削減し、広告収入を得るというものだ。このような利益追求の動機とは別に、コンテンツファームは、国家が支援するアクターによって、虚偽の情報や誤解を招く情報で情報空間を氾濫させるためにも、広く使われていることに注意が必要だ。
「世論操作」に次いで多かった悪用目的として研究チームが指摘するのが、「収益化」だ。51件、20.5％を占めた。
生成AIの普及によって、コンテンツの大量生成、拡散のハードルが下がり、それを広告収益目的の低品質サイト（MFA）や、政治目的の偽装メディアサイトの展開に利用するケースが増大している。
※参照：AIで量産のメディア偽装サイト「ピンクスライム」の数が、本物のニュースサイトと同規模に（04/05/2024 新聞紙学的）
※参照：1週間で記事8,600本、「AIコンテンツ工場」がネット広告費を飲み込む実態とは？（06/29/2023 新聞紙学的）
そして、3番目に多かったのが「詐欺」（45件、18.1％）だ。「影響力のある人物になりすまして詐欺的な暗号通貨や投資スキームを宣伝するような"著名人詐欺広告"が、我々のデータセットでは多かった」と研究チームは指摘している。
※参照：「暗号通貨宣伝」「女性スキャンダル」のAIデマ動画拡散、台湾総統選にフェイクの脅威（01/11/2024 新聞紙学的）
●なりすまし、捏造アカウントの氾濫
研究チームは、これらの生成AI悪用の具体的な手口（全体で258件）についても、まとめている。
最も多かったのは「なりすまし」で56件（21.7％）。使われたメディアのタイプは音声（28件）と動画（21件）が大半を占めた。
次いで「捏造アカウント（ソックパペット）」で48件（18.6％）。このケースでは、テキスト（18件）と画像（17件）が大半だった。
次いで「拡散」が44件（17.1％）で、うちテキストが24件、画像が15件。さらに「コンテンツ偽造」の34件（13.2％、画像16件、テキスト12件）と続く。
前述の悪用の目的ごとの手口を見ると、「世論操作」（66件）で多かったのは、「なりすまし」（20件）と「コンテンツ偽造」（14件）。
「収益化」（51件）の中では、「拡散」（14件）と「不同意ヌード」（11件）。「詐欺」（45件）の中では「なりすまし」（22件）と「拡散」（7件）が多かった。
●「現実を歪める」
このままでは、一般にアクセス可能なデータがAI生成されたコンテンツで汚染され、情報検索が妨げられ、社会的・政治的現実や科学的コンセンサスに対する集団的理解が歪められる可能性がある。
研究チームは、そう指摘している。
ウェブ評価サイト「ニュースガード」は、代表的なAIチャットボット10サービスを対象とした調査で、これらのAIがロシア発「偽装ニュースサイト」の偽情報をオウム返しする実態を明らかにしている。
偽情報拡散のエコシステムの一端を、生成AIも担っているという構図だ。
そして、これらの「偽装ニュースサイト」の展開でも、生成AIの使用が指摘されている。
※参照：AIチャットボットがロシア発「偽装ニュースサイト」の偽情報をオウム返しする（06/19/2024 新聞紙学的）
「ニュースガード」の調査には、ディープマインドが開発した生成AI「ジェミニ（旧バード）」も含まれている。
2024年5月に成立した欧州連合（EU）による世界初の包括的なAI規制法「AI法」では、生成AIの悪用などによる社会への甚大な被害を「システミック・リスク」と位置づけ、厳しい規制を設けている。
※人類は生成AIをいかにして制御するのか？EUで成立したAI規制法400ページの核心（06/26/2024 JBpress「Straight Talk」）
今回の調査の指摘は、グーグル・ディープマインドにも向けられていることになる。
【情報開示＝筆者はGoogle.org、LINEヤフー、Metaが資金援助する「国際ファクトチェックネットワーク」加盟の日本ファクトチェックセンターで運営委員を務めている】
（※2024年6月26日付「新聞紙学的」より加筆・修正のうえ転載）
