「高考」を中国の生成AIが受験してみた

6月に中国で大学受験「高考」があった。中国の学生はこの日まで日々朝から夜まで勉強漬けとなり、その集大成となる人生の一大イベントとなる。ちなみに、24年の高考への志願者数はなんと1342万人に達しており、昨年より51万人増加し、過去最高を更新した。例年の高考は日本の大学入学共通テスト以上にメディアで取り上げられるが、今年は中国の大規模言語モデル（LLM）・生成AIがどこまで点数をとれるかというのを試すメディアが続出し話題になった。 関連記事などを見る 中国で今、様々な企業から生成AIが誕生し、赤字覚悟の低価格でユーザーを囲い込みつつ、能力を高め活用したサービスを提供している。有名なものではバイドゥの文心一言、アリババの通義千問、バイトダンスの豆包、テンセントの元宝、ユニコーン企業の智譜AI（Zhipu　AI）の清言のほか、シャオミ、ファーウェイやOPPOも独自のLLMを自社スマートフォンに導入している。これらの他にも数多く出ているが、それを各メディアが競うようにベンチマークを行ったわけだ。

英語・数学・中国語の3科目で実験を行った結果

さて、実際に高考の英語・数学・中国語の3科目で実験を行った結果を見てみると、アリババの通義千問が最も高得点で420点中303点、続いてGPT-4oが296点で後に続いた。 英語は空欄を埋めるタイプや回答を選択するタイプで苦手とするLLMもあったが、英作文ではほとんど減点されることはなく高得点を記録。中国語では現代文の読解力ではどれも優れている一方、古文ではものによって差は出たが、どれも「オントロジー」「メタファー」「隠喩」などを理解できておらず点を落とした。特に意外だったのは、数学。すべては合格点数に及ばず、問題解決のためのプロセスで混乱し、AIの強力な数式記憶機能が問題解決プロセス中にうまく参照して使えてないというものだった。 そして注目を集めたのが作文で出てきた以下の問題だ。 「インターネットが普及し、AIが活用され、多くの課題の答えがすぐに出てくるようになりました。では私たちの課題は少なくなるのでしょうか、800字以上で答えなさい」 という旬なネタの問題が出てきたのだ。この問題を各社の生成AIはどう回答するのかと、中国の複数のメディアはAIに作らせた。かなりの数の記事があり、各社が生成AIに異なるプロンプトで書かせているので、答えは無数に出てきている。日本人にはわからない中国人にささる中国語ならではの使いまわしや表現がありそれぞれが長文なので翻訳文はここでは紹介しないが、興味があればこちらの記事（https://36kr.com/p/2809827496839681）などで自動翻訳をかけて読んでいただければと思う。