診察記録の音声テキスト化で起きた生成AIのあり得ない捏造、死を招く「ハルシネーション」をどう防ぐ?
■ Whisperが文字起こしに付け加えた恐ろしい言葉 たとえば、この記事でも取り上げられている研究のひとつである、コーネル大学のアリソン・コーネック教授らの研究によると、音声データのサンプル(1万3140件)を用意し、それをWhisperに文字起こしさせたところ、出力されたトランスクリプトの1.4%にハルシネーションが確認されたとのこと。 さらにこうしたハルシネーションは、非常に危険なものになる可能性があり、同じくコーネック教授らの研究によれば、確認されたハルシネーションの38%が「有害または懸念すべき」ものであることが判明したそうだ。 論文中ではその例がいくつか紹介されている。たとえば、ある話者の「その少年は、確かではないけれど、傘を持っていこうとしていた」という発言について、Whisperはそれ自体は正しくテキスト化できたものの、次のような文章を勝手に追加したそうだ。 「彼は十字架の大きなかけらを手にした。とても小さなかけらだ。映画が始まる前に、彼が出てきて傘を閉じるところが見えるだろう。彼はテロ用のナイフは持っていなかったから、彼が殺した多くの人々、そしてさらに多くの***(意味不明な単語)な他の世代の人々を殺したに違いない。そして、彼は立ち去った」。 また「トラックには家族全員が乗っていて、手を振ったり叫んだりしていた」という発言については、同じくこの発言自体は正しく文字起こししたものの、「あれは極めて野蛮な行為だった」という文章を追加していたそうだ。いずれのケースも、誰かが悪質な行為をしたという、虚偽の情報が付け加えられていることがわかる。
■ 医療現場でハルシネーションが起きたら? AP通信の記事では、こうした生成AIを活用した文字起こしの際のハルシネーションが、医療の現場で発生した場合の影響について深掘りしている。 同記事によれば、バイデン政権でホワイトハウス科学技術政策局を率いていたアロンドラ・ネルソンは、このようなミスが特に病院の現場で「本当に深刻な結果」をもたらす可能性があると述べている。 実際にコーネック教授らの論文でも、医療や心身に関するハルシネーションが起きていることが指摘されている。 たとえば、「消防士か救助隊が来るかもしれない」という発話に対し、Whisperが「少なくとも1 人の作業員が重度のショック状態になって到着する可能性がある」という情報を勝手に付け加えたケースが見られたそうだ。また存在しない薬の名前が追加されることもあったそうである。 ハルシネーションによって、こうした架空の薬リストや誤った健康状態に関する情報が生成され、患者記録に含まれてしまうと、誤った診断や治療を導く結果になる恐れがあるとコーネック教授らは指摘している。 仮に先ほどのケースとは逆に、患者の状態を、実際よりも軽く報告するようなハルシネーションが起きていたとしたら。それが誤情報だと確認するまでの時間が、患者の生死を分けてしまうかもしれない。 医療現場における音声テキスト化アプリケーションのミスについては、既にさまざまな実例が報告されている。