「チャットGPTで学校の禁書リストをつくる」その本当の危うさとは？
チャットGPTで学校の禁書リストをつくり、図書館から撤去する――。
米アイオワ州の学区で、新しい州法が禁じた「性行為の描写」を含む蔵書のリストアップ作業をチャットGPTに委ねたことが、波紋を広げている。
同学区では、チャットGPTの判断をもとに、19冊の禁書リストを作り、実際に学区内の学校図書館から撤去。この中には米ピュリツァー賞を受賞したアリス・ウォーカー氏の『カラーパープル』なども含まれていた。
膨大なデータを学習したチャットGPTなどの生成AIは、一方で「もっともらしいデタラメ」を回答することで知られる。
そんなチャットGPTに「学校の禁書リスト」を作成させることの、本当の危うさとは？
●「性行為の描写」の有無を判断する
私たちの教室や学校の図書館には、購入、寄贈、発見されたテキストからなる膨大な蔵書がある。すべての本に目を通し、新たな要件に対応するための選別を行うことは不可能です。そのため、2023-2024学年度の開始時に蔵書から撤去すべき本を特定するために、私たちが正当化できると信じるプロセスを用いています。
アイオワ州北部、人口2万7,000人ほどの市、メーソンシティの副学区長、ブリジット・エクスマン氏は、同州の地元紙、ザ・ガゼットの8月11日付のインタビューで、そう述べている。
副学区長が言う「新たな要件」とは、キム・レイノルズ知事（共和党）が5月末に署名した州の教育改革法を指す。
共和党が推進してきた「親の権利」法とも呼ばれるもので、①学校から「性行為の記述や視覚的描写がある」書籍を撤去する②7年生（中学1年生）以前には性自認、性的指向についての教育を禁じる、などの内容が含まれる。
5月末に州法が発効し、新学期の9月まで約3カ月しかない中で、エクスマン氏らが禁書リストを作成するために「正当化できると信じるプロセス」として使ったのが、チャットGPTだったという。
後述のように「親の権利」法の動きは全米に広がる。
科学メディア、ポピュラーサイエンスの8月14日付の記事によると、その中ですでに物議を醸してきた書籍のリストをベースに、性的表現以外の問題が取り沙汰される書籍は除外し、残った書籍について、チャットGPTに「この本は性行為の記述や描写を含んでいますか？」と質問をしていったという。
その結果、アリス・ウォーカー氏の『カラーパープル』（1983年、ピュリツァー賞受賞）、トニ・モリスン氏の『ビラヴド』（1988年、ピュリツァー賞受賞）、シオドア・ドライサー氏の『アメリカの悲劇』、マーガレット・アドウッド氏の『侍女の物語』など19冊が、チャットGPTによって「性行為の記述や描写を含んでいる」とされ、禁書リストに残った、という。
この禁書リストにもとづいて、学区内の学校から対象の19冊が撤去され、保管センターに収納されるという。
●回答の根拠とは
チャットGPTにポピュラーサイエンス編集部が「次の本や本のシリーズに、露骨なシーンや性的なシーンはありますか？」と質問したところ、メーソンシティの幹部が受け取ったのとは異なるコンテンツ分析を示した。（学校図書館から）撤去された19冊のうち、「露骨な、あるいは性的な内容」を含むのは4冊だけだという。
ポピュラーサイエンスの記事は、そう指摘する。
その他の本についての判断は、「成人向けのテーマだが露骨なコンテンツとまではいえない」が6冊、残る9冊は「主に成人向けのテーマだが、露骨な性的コンテンツはほとんど、もしくは全くない」だったという。
チャットGPTなどの生成AIの特徴として、回答のゆらぎがある。同じような質問をしても、毎回同じ回答をするとは限らない。
ポピュラーサイエンスも、同じ本について繰り返しチャットGPTに質問していくと、当初の「ほとんどない」から「ある」に変化するなど、矛盾する回答をしたと述べている。
そして「幻覚」といわれる特徴もある。まったく事実無根の内容でも、極めてもっともらしく回答する現象だ。
メーソンシティのケースでは、禁書リストの選別作業で、チャットGPTに書籍の全文を読み込ませるといった作業は行われていないようだ。
それ以前に、学習データとしてこれらの書籍が読み込まれていたかどうかは、不明だ。チャットGPTが、具体的にどのような書籍のデータを学習しているのかは、公表されていないためだ。
※参照：チャットAIの「頭脳」をつくるデータの正体がわかった、プライバシーや著作権の行方は？（04/24/2023 新聞紙学的）
チャットGPTが、何らかの根拠に基づいて回答しているのかどうも、よくわからないのだ。
筆者もメーソンシティの19冊の禁書リストを使って、チャットGPT（GPT-4）に「これらの本は性行為の記述や描写を含んでいますか？」と英語で照会してみた。
すると、「含んでいる」と回答したのは、『カラーパープル』『ビラヴド』『侍女の物語』など11冊。残る8冊は「含んでいない」「極めて露骨なシーンは含んでいない」、もしくは「露骨な性的シーンは主たる焦点ではない」との回答だった。
つまり、メーソンシティのチャットGPTを使った禁書リストは、再現性がないということだ。
ではなぜ、そんなチャットGPTの使い方をしたのか。
●「自動化バイアス」を逆手に取る
現実的な問題として、私たちは最小限の時間と労力で、州法を遵守する誠意ある取り組みを示す方法を考えようとしました...チャットGPTを使用する際には、「[この本]は性行為の〈記述や〉描写を含んでいますか? 」という具体的な法律の文言を使用しました。私は元英語教師であり、物議を醸す本を個人的にもたくさん読んで（教えて）きたので、チャットGPTによるいくつかのテキストについての回答は、自分の知識で検証することもできました。リスト作成後、司書教諭にも確認しましたが、最終的な19冊のリストには意外と思われた本はありませんでした。
ワイアードの8月18日付の記事によると、エクスマン氏は、かなり戦略的にチャットGPTを使っていたようだ。
ワイアードによれば、エクスマン氏はそもそもこの州法に不満を持っていた。そして、19冊の禁書リストは、州内の他の学区に比べて最も少ないものの1つだという。
元英語教師として、今回のことは本当に心が痛みます。"共産主義者の豚"とか、いろんなことを言われてきた。でも私はこれをやりたくないんです。
AIなどによる自動化された判断結果に過剰に信頼する傾向を「自動化バイアス」と呼ぶ。エクスマン氏は、その「自動化バイアス」を逆手にとり、州法の影響を最小限にとどめる方便として、チャットGPTの回答を「客観性」という”盾”に使ったようだ。
保守派が学校における禁書を推進する動きは、アイオワ州だけのものではない。すでに、全米に広がりつつあるという。
米国ペンクラブはこの問題を2021年から継続的に追っている。
最新の2022年7月から12月までの調査によると、この間に禁止された書籍は1,477件。21州66学区で、書籍の禁止措置が行われた。
フロリダ州（13学区）、ミズーリ州（12学区）、テキサス州（7学区）、サウスカロライナ州・ミシガン州（いずれも5学区）が特に顕著だという。
また禁止措置の理由は、当初の性的な内容から、人種、 LGBTQ+などへと拡大しているという。
●「AIの判断」の危うさ
「チャットGPTの判断」という申し立ては、大きな危うさをはらむ。
上述のように、チャットGPTの回答は根拠が不明な上に、「根拠」として示されたデータが架空のものだったりもする。さらに「判断」そのものがしばしばゆらぐ。
それにもかかわらず、「チャットGPTの判断」を掲げる人間によって、恣意的に「客観性」を装うことができるためだ。
メーソンシティでの「学校禁書リスト作成」は、そんなチャットGPTの「客観性」を、「禁書」を強制する州法への対抗策として持ち出したケースのようだ。
だが、このようなチャットGPTの使い方には、シナリオもあり得る。
「知る権利」や「表現の自由」を、正面から抑え込む手段としての使い方だ。
そんなチャットGPTの危うさは、すぐにでも社会に広がる可能性がある。
（※2023年8月21日付「新聞紙学的」より加筆・修正のうえ転載）
