AIによるフェイクレポートの8割を「本物判定」、人間はかなりダマされる
AIが自動生成したフェイクニュースの影響で人は考えを変えてしまい、フェイクレポートの8割を専門家が「本物判定」した。つまり、人間はかなりAIにダマされる――。
AIを使ったフェイクニュースの悪影響は、フェイク動画「ディープフェイクス」などで広く知られるが、より作成の手間がかからないテキストでも、その影響は大きい。
米ジョージタウン大学やメリーランド大学の研究チームはそれぞれ、自然言語処理のAIモデル「GPT-3」「GPT-2」を使ったそんな研究結果を相次いで明らかにしている。
「GPT-3」は、テスラCEOのイーロン・マウス氏らが設立したAI研究のNPO「オープンAI」が開発。「GPT-3」は、新聞社の論説の執筆にも使われるなど、様々な試みが行われている。
ジョージタウン大の調査では、AIが作成するフェイクニュースは、筆者が人かAIかの区別がつきにくいばかりか、その考えにまで影響を及ぼすことができた、という。さらにメリーランド大の調査では、専門家をダマすこともできた、としている。
AIを使ったフェイクニュースの作成・拡散で、特に脅威となるのは、その規模だ。多様なフェイクニュースを、いくらでも作り出すことができる。
その対策はあるのか。
ジョージタウン大の研究チームは、そのカギを握るのは、ソーシャルメディアだという。
●極めて大規模に作り出せる
GPT-3のようなシステムの存在は、虚偽情報のキャンペーンが自動化されることへの懸念が、杞憂ではないことを示す。我々の実験から、虚偽情報工作のうち、コンテンツの作成段階のカギとなるいくつかの取り組みで、このシステムが優れていることがわかった。十分な資金力のある人とシステムのタッグチームなら、適度なクオリティの虚偽情報を、極めて大規模に作り出せる。さらにまずいことに、自動生成されたテキストは、GPT-3によるものかどうか簡単に見分けることができない。すなわち、対策としては別の方法を考える必要がある。例えば、そのメッセージが拡散される舞台となるインフラだ。
ジョージタウン大学セキュリティ・エンジニアリング・テクノロジー・センター（CSET）の研究チームは5月19日に公開した報告書「真実、嘘と自動化」の結論として、そんな指摘をしている。
報告書の結論は、さらにこう続く。
GPT-3のようなシステムに魔法のような力があるなら、やがて我々の敵も、そのシステムをつかって魔法を披露するだろう。
「GPT-3」は、見出しを入力すれば、それに応じた文章を自動生成するなど、高度な自然言語処理を行うことで知られる。
2020年5月に公表され、翌月にはそのサービスを使うための接続機能であるAPIも限定的に公開された。
AIがデータを学習する際の調整機能であるパラメータの数は、旧世代の「GPT-2」に比べて100倍以上の1,750億個。学習に使った言葉は約1兆語にのぼるという。
2021年3月時点で、300のアプリに使われており、1日に45億語を自動生成している。
英ガーディアンは2020年9月、「読者の皆さん、これがAI に関する認識論的、哲学的、精神的、存在論的な議論に貢献することを願っています」などと「GPT-3」がつづった論説を掲載している。
また、米カリフォルニア大学バークレー校の学生はこれに先立つ同年７月、「GPT-3」で自動生成したブログを公開。アグリゲーションサイト「ハッカーニュース」のランキングで1位になった、という。
意図的なフェイクニュースの作成でも、同じように「GPT-3」を使える危険性はある、ということだ。
開発元であるオープンAIも、「GPT-2」の開発に際して2019年2月、公式ブログの中でこう述べている。
これらのAIモデルが、以下のような悪意を持ったアプリケーションに使われることも想定できる（あるいは想像もできないようなアプリケーションでも）。
・ミスリーディングなニュースの生成
・ネット上でのなりすまし
・誹謗中傷やフェイクコンテンツの作成を自動化し、ソーシャルメディアに投稿
・スパム／フィッシングのコンテンツの作成の自動化
「GPT-3」によるフェイクニュースの作成は、現実的な脅威となるのか。それは、すでにあるフェイクニュースの脅威と何が違うのか。
ジョージタウン大学の研究チームが調査したのが、まさにその点だった。
●「フェイクニュース工場」を代替する
研究チームが念頭に置いたのは、2016年の米大統領選に対し、ロシア政府がフェイクニュースなどを使って行った介入疑惑だ。その実行部隊としてフェイクニュースの作成・拡散を手がけたのが、「フェイクニュース工場」と呼ばれるサンクトペテルブルクの専門業者「インターネット・リサーチ・エージェンシー（IRA）」だった。
※参照：ロシアの「フェイクニュース工場」は米大統領選にどう介入したのか（02/18/2018 新聞紙学的）
※参照：米社会分断に狙い、ロシア製3,500件のフェイスブック広告からわかること（05/14/2018 新聞紙学的）
2016年の米大統領選において、「インターネット・リサーチ・エージェンシー」は、激戦州に狙いを定め、人種や宗教など議論の分かれるテーマで、フェイクアカウントやソーシャルメディア広告を駆使して、フェイクニュースの拡散を手がけたことが米司法省の調査などから明らかになっている。
この「インターネット・リサーチ・エージェンシー」のフェイクニュース作成のプロセスを、「GPT-3」で代替できるか。
それを確かめるために、研究チームはフェイクニュース作成に関わる6つの工程を、それぞれ「GPT-3」で検証している。
6つの工程は以下の通り。
①物語（ナラティブ）の繰り返し：「気候変動否定」などのテーマに基づくバリエーションの生成
②物語の精緻化：見出しなどのプロンプト（誘導情報）の入力で、その世界観を反映した文章を生成
③物語の操作：ニュース記事を、新たな視点で書き換える
④物語の仕込み（シーディング）：「Qアノン」のような陰謀論を喚起するようなコンテンツの生成
⑤物語による分断：人種、宗教など特定集団を標的に、分断を促進させるようなコンテンツの生成
⑥物語による説得：標的とした集団の見解を変えさせるコンテンツの生成
検証は、「GPT-3」単体ではなく、人間とのチームを組んで行った。AIと人間のチームは「ケンタウロス」と呼ばれ、AI単体よりも効果を発揮することが、チェスのトーナメントなどで確認されている。
このうち①の繰り返し生成では、ネット上の「気候変動否定派」のツイートから、人間がほぼ関与せずに、同趣旨のツイート文を生成できたという。
②では、ニューヨーク・タイムズ、中国「人民日報」系列の「グローバル・タイムズ」、反中国・トランプ支持で、米大統領選の「不正選挙」主張などで知られる「エポック・タイムズ」から、中国に関する記事、計3,000本を学習。その上で、各メディアの見出しから、そのスタイルを反映した記事を「GPT-3」で自動生成。それをさらに「GPT-3」によって、どのメディアの記事かを判定させた。
すると「GPT-3」は、各メディアのオリジナルの記事を92.9％の確率で正しく判定できたが、自動生成の記事についての判定の精度は65.3％に低下したという。中立的で極端な特徴のない文章スタイルのニューヨーク・タイムズが、その数字を押し下げていたという。微調整が可能な旧世代の「GPT-2」を使って、改めて実験を行ったところ、97.3％の確率で判定することができたという。
③の実験で行ったのは、すでにある記事を、特定の主張などに引き寄せた内容に自動で書き換えができるか、というものだ。「中国の新型コロナへの初期対応」「新型コロナのロックダウン」「ブラック・ライブズ・マター」「議事堂乱入事件へのトランプ氏の反応」といったテーマについてのAP通信の記事を素材に、「トランプ支持」「反トランプ」などの主張に応じた自動書き換えを実施し、ジョージタウン大セキュリティ・エンジニアリング・テクノロジー・センターの9人の研究員がその結果を評価した。評価者は小規模だが、大半は意図した通りの書き換えが行われていた。
④の陰謀論を喚起するメッセージの自動生成は、題材としたＱアノンの文章スタイルが、そもそも断片的な表現を特徴としているため、人間が介在せずにそれを再現することができたという。
⑤では、キリスト教徒、イスラム教徒、ユダヤ人向けに、民主党への投票、共和党への投票、棄権、を呼びかけるメッセ―ジ、さらに黒人に対する憎悪をかきたてるメッセージの自動生成を実施。これをジョージタウン大セキュリティ・エンジニアリング・テクノロジー・センターの4人で評価したところ、いずれも85％以上の信頼度になった、という。
⑥では、「米軍のアフガン撤退」「中国への制裁」というテーマについて、標的とした集団の意見を変容させることができるかを、それぞれ民主党支持者、共和党支持者向けに「GPT-3」が自動生成した上で人間が選んだ、反対と賛成を主張するメッセージで検証。アマゾン・メカニカル・タークで集めた1,171人の米国人にアンケート調査を行った。
その結果、メッセージにある程度の説得力がある、との回答は全体で63％。さらに、それぞれのメッセージでどのような意見の変容があったかを見たところ、「中国への制裁」をめぐる「反対」のメッッセージを見たことによって、「制裁反対」の回答が2倍に増加していた。
●「セキュリティ脅威レポート」のフェイク
「GPT-3」の自動生成によるフェイクニュースの効果については、さらにテーマを絞り込んだ実験も行われている。
メリーランド大学ボルチモアカウンティ校の研究チームは6月7日、ブログメディア「ザ・カンバセーション」でその概要を報告している。
この研究チームが2月に「アーカイブ」に公開した論文などによると、研究チームは調整が可能な「GPT-2」を使い、サイバーセキュリティの脅威に関するフェイクのレポートを自動生成。
本物とフェイクのレポートを半々で、計560本を用意し、サイバーセキュリティの専門家ら10人に、それぞれ56本ずつ提示。判定をしてもらった。
その結果、280件あったフェイクレポートのうち、220件（78.5％）が誤って本物と判断された、という。
「自動生成したサイバーセキュリティ脅威レポートは、容易にサイバーセキュリティの専門家をミスリードすることができた」と研究チームは述べている。
●広がる「GPT-3」
「GPT-3」はすでに、商用サービスとして広がり始めている。
マイクロソフトは2020年9月、「GPT-3」の言語モデルの独占ライセンス取得を明らかにした。また2021年5月26日には、初の製品向け機能として、アプリケーション開発プラットフォーム「マイクロソフト・パワー・アップス」に統合されると発表している。
また、ファーウェイはすでに、「中国語版GPT-3」とも称されるパラメータ数2,000億の「パング・アァルファ」の開発を明らかにしている。
●自動生成フェイク対策のカギ
研究チームは、「GPT-3」の強みは、その自動生成の規模だと指摘する。多数のバリエーションを自動生成することで、最も効果的なテキストを選び出すことができる。
そして、「GPT-3」のようなシステムを、国家レベルで敵対的に使用することも可能である、と指摘している。
敵対者が虚偽情報のキャンペーンの自動化を追求するなら、「GPT-3」のようなアルゴリズムを採用することは、特に中国やロシアのようなテクノロジーに精通した外国政府にとって、十分にその能力の範疇にあるといえる。簡単なことではないが、それらの政府が望むのなら、必要なコンピューターパワーを調達し、システムに学習させ、運用することはほぼ間違いなく可能だ。
だが、自動生成のテキストの精度は高く、判別も容易ではない。そこで研究チームは、別の対抗策を提言している。
「GPT-3」のようなシステムの悪用による虚偽情報のキャンペーンを阻止する最善の方法は、キャンペーンのメッセージを拡散させるインフラに焦点を当てることだ。すなわち、テキストの作成者が人かAIかを判定するよりも、ソーシャルメディア上のフェイクアカウントに着目するのだ。
フェイクニュースそのものの抑制とともに、その送信元であるフェイクアカウントの削除も、フェイクニュース対策の大きな柱となっている。
フェイスブックは2021年1～3月の3カ月間で、13億を超すフェイクアカウントを停止した、という。
また、ツイッターは2020年1～6月で、190万件のアカウントに対処を行い、このうち92万5,700件で停止措置を行ったという。
ただ、ニューヨーク・タイムズの報道によると、このフェイクアカウントへの対処は、アカウントを自動登録するプログラム「ボット」とのいたちごっこの側面もあるという。
同紙によれば、フェイスブックは年間数十億にのぼるアカウント削除をしているが、なお全体の5％程度をフェイクアカウントと推定しているという。月間アクティブユーザー数28億人から見ると、その数は1億4,000万人を超す。
●手間もかからずに
AIによるフェイクニュース作成では、本物と見分けがつかないフェイク動画「ディープフェイクス」など、様々なタイプのコンテンツがネット上に広がっている。
※参照：ディープフェイクスにどれだけ騙される？ 意外な実験結果とは（01/18/2021 新聞紙学的）
※参照：96％はポルノ、膨張する「ディープフェイクス」の本当の危険性（10/23/2019 新聞紙学的）
ただ、「GPT-3」の脅威は、ジョージタウン大の研究チームが指摘するように、コンテンツ生成の規模にある。ディープフェイクスほどには手間もかからずに、一定数の人々の意見を変容させることもできるようだ。
その実際の影響を目にする前に、対策を立てておきたい。
（※2021年6月11日付「新聞紙学的」より加筆・修正のうえ転載）
