Google AI Overviewの頓挫

Googleが最近発表した（日本在住の私の環境ではSearch Labsでオンにしてもうまくいかないのだが、米国だけの試験運用なのだろうか）新機能、AI Overview（「AIによる概要など」）は、Googleの検索結果として生成AIによる回答を表示するというサービスだったが、回答が例によって派手に間違えているので笑いものとなった（Forbes Japanの記事）。面白いものはX/TwitterやBluesky等のSNSでシェアされているのでご覧になった方もいるだろう。もちろんGoogleが言うようにいくつかはでっちあげかもしれないが、大多数は本物だと思う。

現在の生成AIにハルシネーションの問題があることは周知の事実なので、妙な回答があること自体は不思議ではないが、個人的に気になったのは404 Mediaが報じた事例だ。「ピザからチーズが滑り落ちてしまうのだがどうしたらよいか」という質問に、GoogleのAIは「ソースに接着剤を1/8カップ加えると粘り気が増すのでよい」と自信満々に答えたのだが、これは実は11年前、掲示板サイトRedditに投稿されたものだったのだ。もちろんジョークとして。

先日の記事で、生成AIをトレーニングする学習データの枯渇や、だからといって掲示板への投稿など低質なデータまでかき集めて学習させることの危険性について論じたばかりだが、案外早く実例が出てきたなという感じである。

それはそれとして、この種の事例は図らずもAIの（あるいは人間の）性質を考える上で興味深い問題を提示しているように思える。AIはユーモアを解するのだろうか？

ハルシネーションにあらず

まず、今回のような事例は厳密にはハルシネーションではない。ハルシネーションは実は根拠がないのにでっちあげて適当な返事をしてしまうわけだが、今回のケースは、（Redditへの投稿とはいえ）明確な根拠があるからである。問題は、AIが真面目な話とジョークや皮肉の区別がついていないことだ。

ピザにチーズが乗らなくて困る、という質問に、ピザソースに接着剤を入れれば大丈夫、と返すのは、いわゆるデッドパンである。文面自体は別におかしくないのだが、ピザは人間が食べるものという文脈を理解すると笑いにつながる。もちろんジョークを解さない人もいるが、人間なら何がおかしいのか大体分かるものだ。ところがAIにはそれが難しい。

この種の話で私が思い出すのは、エレバン放送である。かつて旧共産圏で流行ったという一連のジョークで、アルメニアの首都エレバンの放送局に寄せられた質問とその答えという形式をとっている。やりとりは真面目だが、よくよく考えると皮肉な回答ばかりというところにおかしみがある。いろいろバリエーションはあるが有名になったものとしては、

などがある。

AIがこれらを馬鹿正直に学習した結果、「かつてソ連では指導者を誹謗すると国家機密漏洩罪に問われた」だの「薄毛の治療法については危険なのでお答えできない」だの「一単語のジョークとしては『共産主義』がある」などと返答しはじめたのが現在の状況と言える。これはある意味ハルシネーションより深刻である。AIがユーモアを解するかどうかについて学術的な研究もいくつかあるようだが（たとえばこれ）、現状ではかなり難しいというのがコンセンサスのようだ。

ウェブ検索と生成AIの相性

そもそも、Googleに限らず生成AIを検索に組み込もうという動きがしばらく前からいくつかあるが、個人的には本当に良いアイデアかどうか疑問が残る。ウェブ検索は検索キーワードに応じていくつかの検索結果をリストアップするわけだが、その妥当性の判断は検索した人間に任されていた。結果の中には例えば虚構新聞の記事も入っているかもしれないが、それは人間なら区別が付く（真に受ける人もいたかもしれないが）というのが前提だったのである。そもそも、人間なら時にはあえてジョークが見たいということもあろう。ワシントン大学の研究者マイク・コウフィールドも指摘するように、このような相反する人間の意図を、少なくとも読心術師ならぬ現状の生成AIはうまくくみ取ることはできないと思うのである。