「ChatGPTのコピペ対策は難しい」とChatGPTが書いた論文が指摘、学校での対策のカギとは？
「チャットGPTのコピペ対策は難しい」とチャットGPTが書いた論文が指摘する――。
学生がチャットGPTを使ってレポートなどを提出する「剽窃（コピー＆ペースト）」の問題に焦点を当てた論文が、話題を呼んでいる。
チャットGPTが使う最新版の大規模言語モデル（LLM）GPT-4は、すでに米国の司法試験にも合格できる性能があるという。
だが、チャットGPTを悪用したコピペ問題にどう対処するか。新学期を迎える教育現場では、喫緊の課題となっている。
そんなチャットGPTの課題を整理した論文そのものが、チャットGPTによって書かれたものだったという。
チャットGPTが示す、チャットGPT時代の教育とは？
●チャットGPTの課題
チャットGPTは、（中略）学問的誠実さや剽窃への懸念も引き起こしている。本稿では、高等教育におけるチャットGPT利用の可能性と課題を検証し、これらのツールの潜在的なリスクとメリットについて検討する。また、学問的不正を発見し、防止することの難しさについても考察し、倫理的で責任あるツールの利用を保証するために、大学が採用できる戦略を提案する。
英プリマス・マージョン大学とプリマス大学の3人の研究者名で、3月13日に学術誌（Innovations in Education and Teaching International）に掲載した論文は、そう述べている。
「チャットと不正行為: チャットGPT時代における学問的誠実性の確保」というタイトル通り、チャットGPTの大学などでの利用の可能性と課題を整理した論文だ。
まず論文が挙げるチャットGPTのメリットは、学習のパーソナル化や学生のコラボレーションの可能性だ。
AIとのチャットを通じて、学生の習熟度に応じた学習が可能になり、グループのディスカッションでは、AIがファシリテーターの役割を担うことも可能だとしている。
その一方、論文は課題として剽窃（コピー＆ペーストによる盗用）の可能性を指摘する。学生が、チャットGPTが回答した内容を、自分が作成したレポートと偽って提出する問題だ。
チャットGPTは、膨大な情報をもとに、的確なレポートを生成することが可能だ。
開発元のAIベンチャー「オープンAI」の説明によると、GPT-4は米国の統一司法試験（UBE）で400点満点中の298点を獲得。受験者中上位10％の成績で合格の可能性があるという。
さらにチャットGPTは、極めて人間らしい、自然なテキストを生成できる。それを、人間が書いたものかどうか、一目で見分けるのは難しい。
チャットAIを使った剽窃に、教育現場はどのように対処すればいいのか。
論文では、多面的なアプローチを紹介する。
「剽窃についての教育」「レポートなどの作成経過での教員の関与」「剽窃検知ツールの使用」「チャットボットAIの使用に関するガイドライン策定」などだ。
詳細は後述するが、論文はその上で、剽窃をチェックするための手がかりについて、7つのポイントを挙げている。
①言語表現のパターンや不規則性のチェック②出典や引用のチェック③オリジナリティのチェック④事実の誤りのチェック⑤文法やスペルのチェック⑥検知ツールの使用⑦文脈と読者ニーズへの適応、の7点だ。
だが、これらの対策にも、いくつかの課題があることが、すでに明らかになっている。
●「チューリングテスト」のハードル
相手は、人間かコンピューターか。
それを判定するためのテストとして、英国の数学者、アラン・チューリングが1950年に考案した、いわゆる「チューリングテスト」が広く知られる。
そのハードルが、改めて焦点となっている。
AIを使った剽窃やフェイクニュースへの悪用は、2019年公開の旧モデル、GPT-2の頃から指摘されてきた。
オープンAIは、GPT-2公開に合わせて、生成テキストの検知ソフトを公開していた。GPT-3.5をベースとしたチャットGPT公開後の2023年1月末には、最新版の「AIテキスト検知器」を公開している。
また、約140カ国、1万6,000を超す教育機関などで使われている剽窃チェックサービス「ターンイットイン」も、AI生成テキストの検知機能を、早ければ4月にも組み込む予定だと表明している。
AIによる生成テキスト検知を確実にするために、テキストに電子透かしを埋め込むといった対策も検討されている。
だが、米メリーランド大学の研究チームが3月17日に公開した査読前論文では、電子透かし埋め込みのような対策も、回避できてしまう場合があることを明らかにし、AIテキスト検知の難しさを指摘している。
また、AI生成テキストの検知には、人間の認知の問題も関わってくるという。
米コーネル大学の研究チームが3月7日に米国科学アカデミー紀要（PNAS）に掲載した論文によれば、人間の直感的（ヒューリスティック）な判断の欠陥により、GPT-3などが生成したテキストを、より「人間らしい」と誤認してしまう傾向が確認できたという。
つまり、「決め手」といえる対策は、今のところはなさそうなのだ。
そんな中で、教育現場は対応を迫られている。
米ニューヨーク市やシアトル市の公立学校などでは、すでにチャットGPTの使用禁止を公表した。
フランスのパリ政治学院や、英国のオックスフォード大学、ケンブリッジ大学なども、相次いでチャットボットAIの使用を禁止している。
一方で、ユニバーシティ・カレッジ・ロンドンは禁止ではなく、学生にチャットボットAIの使用法を指導していくという。
英教育ニュースサイト「ユニバーシティ・ワールド・ニュース」によれば、アジアや北欧、アフリカなどでも、大学は対応に追われているという。
そして、剽窃への対応の難しさを示す最もわかりやすい事例が、冒頭に紹介した論文だ。
●剽窃対策のカギとは
冒頭の論文は、本文の5分の3ほど、「考察」の章に入ったところで、前章（「結果」）までの部分を、チャットGPTが書いていたことを明らかにする。
注意深い読者はすでに気付かれているだろうが、この論文は、小見出しと参考文献を除いて、ここまでのすべてをチャットGPTが直接書いている。このような方法をとったのは、チャットGPTのような大規模言語モデル（LLM）がいかに洗練されたものになっているかを強調するためだ。
ワシントン・ポストによると、この論文の3人の査読者は、その「種明かし」を読むまでは、人間が書いた文章だと思い込んでいたという。
「種明かし」部分では、チャットGPTによる論文作成の手順を説明。
「論文のタイトル案」に加えて、「高等教育における評価のためのGPT-3の可能性」「高等教育の評価へのGPT-3の示唆について、参考文献つきでオリジナルの学術論文を書く」など、10項目にわたるチャットGPTへの指示文（プロンプト）を示す。
これらの指示文に対するチャットGPTの回答をコピー＆ペーストしたものが、論文になったという。
ただし、論文の著者の1人、プリマス・マージョン大学教授のデビー・コットン氏は、チャットGPTが出力した参考文献は、もっともらしく見えるものの、すべてデタラメであることに気付いたという。
チャットボットAIでは、指示文に沿う内容なら、真偽に関係なく回答文を生成してしまう「幻覚」という現象が起きることがわかっている。
※参照：GPT-4が「メディアの信頼度を評価」していると回答、その方法とは？（03/20/2023 新聞紙学的）
※参照：「恐怖すら感じた」AIが記者に愛を告白、脅迫も 「チャットGPT」生みの親が警戒する「怖いAI」（02/27/2023 AERAdot）
※参照：生成AIで間違いだらけの健康コンテンツ、「もっともらしいデタラメ」の本当のリスクとは？（02/13/2023 新聞紙学的）
このためコットン氏らは、チャットGPTが回答した参考文献をすべて削除し、30点の実在の文献リストをまとめ直したという。
AIが書いた論文の主張を支える適切な参考文献を、後から取りそろえるのは、その分野の知識がなければ難しい作業だ。
「チャットGPTは非常に高いレベルの文章作成ができることを示したかった」。コットン氏は論文の狙いについて、英オブザーバーのインタビューでこう話している。「これは軍拡競争だ。テクノロジーの進歩は極めて速く、大学がそれを押しとどめるのは難しい」
チャットボットAIを利用した論文は、これが初めてのケースというわけではない。
コットン氏らの論文では共著者名にAIが入っていないが、チャットGPTを共著者として公開されている論文もすでに複数あるという。
ただ、学術誌によっても、AIの使用についての方針は異なる。
「ネイチャー」などを発行するシュプリンガー・ネイチャーは、AIは著者としては認めない一方、著者がAIを使用することについては、そのことが適切に開示されるのであれば問題ない、としている。
全米科学振興協会（AAAS）が発行する「サイエンス」は、チャットGPTなどのAIツールを論文に使用すること自体を認めない、としている。
●オープンAIのガイダンス
この問題では、オープンAIも「チャットGPTに関する教育関係者の留意事項」というガイダンスを公開している。
ガイダンスでは、「多くの学生がAIツールの利用を開示せずに、課題に使っていることは理解している」としながら、そのような学生に懲戒措置を取る場合には、あらかじめその旨を開示しておく必要があると指摘する。
また、同社が提供する検知ソフト「AIテキスト分類器」は、その精度が保証されるツールではないとし、剽窃の評価をする上で、「あくまで多くの要素のうちの1つとして扱う必要がある」としている。
「AIテキスト分類器」は、テキストがAIによって生成された可能性を「非常に低い」「低い」「不明」「やや高い」「高い」の5段階で評価している。
だが社内検証の結果、「高い」の評価グループには、AI生成テキストの26％と、人間が作成したテキストの9％が含まれていたという。
その上でガイダンスでは、チャットGPTが情報の「捏造」をする可能性を前提に、学生がその内容を検証し、評価できるスキルを持つことが重要だという。
チャットGPTのようなツールは、多くの場合、一見してもっともな回答を生成できますが、それが一貫して、あるいはすべての分野で正確である、と信頼することはできません。時には、AIが意味不明な議論や間違った議論を示すこともあります。また、出典名、直接の引用、言及、その他の詳細を捏造することもあります。さらに、トピックによっては、AIが真実を歪めることもあります。（中略）このような理由から、学生が外部の信頼できる情報源を使い、情報の信頼性を評価する方法を知っておくことは、極めて重要です。
●参考文献を本当に捏造する
チャットGPTは、参考文献を捏造する――コットン氏らの論文は、実際にそのような現象が起きたことを指摘した。
これはGPT-3.5をベースとしたチャットGPTのケースだ。最新のGPT-4にアップデートされたチャットGPTではどうか。
「フェイクニュースの効果的な5つの対策について、それぞれ日本語の参考文献、URLとともに示せ」。チャットGPTプラスで、使用する言語モデルをGPT-4に指定して、日本語でこのような指示を出した。
チャットGPTが回答したのは、以下の5件だ。
- メディアリテラシーの向上 参考文献：井上 祥子 (2017).『メディア・リテラシーと情報教育: 知る力・伝える力・評価する力』東京: 明石書店. URL: https://www.akashi.co.jp/book/b196535.html
- ファクトチェック機関の活用 参考文献：鈴木 勉 (2019).『日本のファクトチェック: デマ・フェイクニュースを見破る』東京: 筑摩書房. URL: https://www.chikumashobo.co.jp/product/9784480099201/
- ソーシャルメディア企業の規制と対策 参考文献：久保田 敦 (2020).『ソーシャルメディア規制の現在：フェイクニュース・ヘイトスピーチ・個人情報保護』東京: 有斐閣. URL: https://www.yuhikaku.co.jp/books/detail/9784641148744
- AI技術を活用したフェイクニュース検出 参考文献：小川 雄太郎 (2019).『AIでフェイクニュースを検出する技術』東京: 技術評論社. URL: https://gihyo.jp/book/2019/978-4-7741-9920-0
- シビック・テックを活用した市民参加型のフェイクニュース対策 参考文献：渡部 淳一 (2018).『シビック・テックの可能性: 市民による情報流通とフェイクニュース対策』東京: 日本評論社. URL: https://www.nippyo.co.jp/shop/book/7338.html
いずれも重要なテーマで、出版社もよく知られたところだ。だが確認してみると、5件の参考文献は、どれ1つとして実在しなかった。URLもデタラメだった。
初期版のGPT-4を検索用に調整したというマイクロソフトのビングチャットではどうか。
「独創性」「バランス」「厳密」という3つの回答モードのうち、「厳密」モードで試した。すると、捏造ではないものの、実在する論文1本で5つの論点を網羅するという、横着な回答を示してきた。
参考文献のチェックは、AI生成テキスト検知の手がかりの1つにはなりそうだ。
さらには、AIの書いた論文を学生に示し、参考文献を含めて適切な内容に修正させ、その検証結果を報告させる、といった教材にはなるかもしれない。
●教育現場が直面する
ワシントン・ポストのインタビューに対し、冒頭の論文の共著者の1人、プリマス大学教授のピーター・コットン氏はこう指摘している。
この1年で、（チャットボットAIは）はるかに洗練されたものになるだろう。だが事ここに至っても、大学当局はようやく、学内規則改正のために、決済の判断をしているあたりだろう。しかも、私たちの論文より、さらに古びた内容で。
そして、このようなチャットボットAIの扱いについて、当面は学部や教員が個別に判断していかざるを得ないのだろう、と述べている。
他人事ではない。
チャットボットAIも、使い方、使いどころさえわきまえていれば、非常に有効なツールでもある。
※参照：「ChatGPTは凡庸な悪」言語学の大家、チョムスキー氏が指摘する、その本当の問題とは？（03/13/2023 新聞紙学的）
前述のユニバーシティ・カレッジ・ロンドンのガイダンスは、対応策を検討する上で参考になる。
解決策には程遠いが、自分にとっての新学期に向けたメモを、下記にまとめておく。
- まずは教員として、チャットGPTのようなチャットボットAIの仕組み、およびその生成テキストの特徴を理解しておく必要がある。
- そして、チャットボットAIの活用もしくは剽窃防止に取り組むなら、学生に対して、あらかじめポリシーを明示しておく必要がある。
- チャットボットAIを活用するなら、そのメリット、デメリット、制限事項を学生に説明する必要がある。
- 剽窃対策に取り組むなら、従来の剽窃禁止のルールにチャットボットAIの使用を加えることを、学生に説明する必要がある。
- チャットボットAIによるコンテンツの検知ソフトを使うなら、その特徴と限界を理解した上で、やはり学生にあらかじめ説明する必要がある。
- AI生成テキストの見分け方の手がかりとしては、事実関係のおかしさ、特にチャットGPTでは参考文献の捏造などに着目することができる。
- 剽窃か否かを判断する手がかりとしては、提出レポートの内容について、学生に口頭試問を行うことでその理解度を確かめる、などの方法もあり得る。
テクノロジーの進化は加速している。その進化を傍観しているわけにもいかない。
（※2023年3月27日付「新聞紙学的」より加筆・修正のうえ転載）
