診察記録の音声テキスト化で起きた生成AIのあり得ない捏造、死を招く「ハルシネーション」をどう防ぐ?
■ それなのに医療機関で導入が進むAI関連アプリ たとえば、医療関係者向けサイトのKevinMD.comに匿名の医師が投稿した記事によれば、「彼はガバペンチンを1日903回服用し続けています」などというあり得ない文字起こしが行われることもあったそうだ(ガバペンチンは疼痛の管理や発作の治療に使用される薬)。 そこに生成AIのハルシネーション問題が加われば、致命的なミスが発生する確率はさらに高まる。 では、生成AIを活用した音声テキスト化ツールの導入を控えようという動きが起きているかというと、残念ながら現状はその逆のようだ。AP通信の記事によれば、ますます多くの地域において、医療機関によるAIを活用した関連アプリケーションの導入が進んでいるそうである。 そのひとつであるミネソタ州では、3万人以上の臨床医と40の医療システムが、Nablaという企業がWhisperをベースに開発したAIツールを使用しているとのこと。同社によれば、既に推定で700万件もの診察記録の書き起こしに、このツールが利用されているそうだ。 また同社は、Whisperのハルシネーション問題については把握しているものの、「データの安全上の理由」からオリジナルの音声データはテキスト化が完了した時点で消去しており、元データとの比較検証は不可能だと述べている。 医療関係者と患者とのやり取り、あるいは医療関係者同士のやり取りの中には、患者個人のプライベートな情報が含まれる可能性が高い。その意味で、音声データを長期間保管するのはリスクを高めることになるが、ハルシネーションがある中で元データを消去するのは、誤情報のみが唯一の情報として扱われてしまうリスクを生むことになるだろう。
■ 致命的なハルシネーションを防ぐために何をすべきか こうした状況に対処し、致命的なハルシネーションを防ぐためには、人間によるチェックに頼るだけでは不十分だ。人間に任せるのではミスが起きる可能性を無視できず、AIを導入する大きな理由である効率性を阻害することにもなる。 冒頭で述べた通り、ハルシネーションを回避するための決定的な解決策はまだ登場していないが、いくつか有効な手立てが存在する。 中でも効果的なのは、特定の分野に特化したAIモデルを開発することだ。私たちが一般的に使用する生成AIは、さまざまなタスクをこなせるようにあえて汎用的な性能とされているが、分野を特定することで精度を上げることができる。 米国のソフトウェア会社3Pillarでヘルスケア部門を率いるスティーブ・ロウは、より医療分野に関係するデータセットをAIに与えてやることで、この分野でのハルシネーションを回避できるようになると主張している。 今後はWhisperのような音声認識AIが、その精度が人間の生死を左右してしまう分野(医療や交通、軍事など)で使用される場合には、事前にチューニングをしておくことが一般的になるだろう。 ただそれを、個々の組織、たとえばひとつの病院だけで取り組むような状況は考えにくい。社会的なメリットと効率性という観点から、たとえば国などが主導して改善に向けた取り組みを進めることも考えられるだろう。 フロリダ大学医学部のラミ・ハテムらは、医療ジャーナルのCureusに投稿した論文において、「AIによる誤情報に気付いた場合は、適切な機関に報告」して情報を共有すること、また「臨床医とAI科学者が協力して、AIシステムで使用できるデータを継続的に改善する必要がある」ことを訴えている。 「幻覚」と言われると、何か機械であるAIが酩酊しているかのような、少しおかしみも感じられる光景が頭に浮かぶかもしれない。それがハルシネーション問題を「人間がチェックすれば問題ないでしょ」程度のものに受け取ってしまう人の多い一因とも言える。 しかし場合によっては、ハルシネーションが人の命にかかわる事態を引き起こす可能性もある。大げさに聞こえるかもしれないが、生成AIが社会にとってますます重要になろうとしているいま、私たちは一丸となってこの問題に取り組む必要があるのだろう。 【小林 啓倫】 経営コンサルタント。1973年東京都生まれ。獨協大学卒、筑波大学大学院修士課程修了。 システムエンジニアとしてキャリアを積んだ後、米バブソン大学にてMBAを取得。その後コンサルティングファーム、国内ベンチャー企業、大手メーカー等で先端テクノロジーを活用した事業開発に取り組む。著書に『FinTechが変える! 金融×テクノロジーが生み出す新たなビジネス』『ドローン・ビジネスの衝撃』『IoTビジネスモデル革命』(朝日新聞出版)、訳書に『ソーシャル物理学』(草思社)、『データ・アナリティクス3.0』(日経BP)、『情報セキュリティの敗北史』(白揚社)など多数。先端テクノロジーのビジネス活用に関するセミナーも多数手がける。 Twitter: @akihito Facebook: http://www.facebook.com/akihito.kobayashi
小林 啓倫