診察記録の音声テキスト化で起きた生成AIのあり得ない捏造、死を招く「ハルシネーション」をどう防ぐ?
生成AIは事実ではないことを、さも事実であるかのように出力することがある。生成AIの「ハルシネーション」だ。現状、人間がチェックすることでハルシネーションに対応しているが、ハルシネーションが医療現場で深刻な問題を起こしかねないという研究報告がで始めている。どういうことだろうか。(小林 啓倫:経営コンサルタント) 【画像】音声認識ツール「Whisper」を導入した米国の病院では診察の際の音声データは消去していた 生成AIの普及により、この技術が「ハルシネーション」という問題を抱えていることについても、広く知られるようになった。これは「幻覚」を意味する英単語なのだが、生成AIは事実でないことを、さも事実であるかのように出力することがある。それがまるで、人工知能が幻覚を見ているように感じられることから、「ハルシネーション」と呼ばれるようになったのである。 ハルシネーション問題を解決するために、生成AI関連の技術を開発する企業はさまざまな対抗策を打ち出しているが、まだそれを完全に抑制するには至っていない。ただ生成AIが不正確な回答を返したとしても、それを活用する前に人間の側でチェックするという対応が取れるため、「まぁ気を付けていればいいか」というような態度で臨んでいる利用者も多い。 もっとも、ハルシネーションは、時と場合によっては深刻な事態を招くことがある。たとえば、医療現場で導入されている生成AIがハルシネーションを起こしたら、一体どうなってしまうだろうか。 ChatGPTの開発企業として知られるOpenAI社は、他にもさまざまなAIアプリケーションを提供している。その中に「Whisper」という音声認識ツールがある。音声データをテキストに変換してくれるというもので、従来の音声認識技術と比べて精度がはるかに向上している。OpenAI社は「人間レベル」に達していると宣伝している。 しかし、実際にどこまで正しい結果を返してくれるのか、米AP通信がさまざまな研究者やユーザーへのインタビューを通じて調査した記事を発表している。 その結論は明確で、冒頭から「この業界で『幻覚』と呼ばれている、でっち上げられたテキストの中には、人種差別的なコメントや暴力的な暴言、さらには想像上の治療法まで含まれていることがある」と指摘している。