これまでも何度も紹介してきたように、機械学習の医学領域への利用は加速している。特に画像診断が必要な放射線診断、病理学、皮膚科、眼科では、医療の質を上げることがはっきりと認識され、FDAも最初の機械学習システムの販売を認可することになっている。このように、今後は機械学習を前提として医療が再編成されるのは必至で、膨大になりすぎて人間の頭ではとうてい扱いきれなくなった医学医療データをわかりやすく整理して助けてくれる、医師の強い味方になるだろうと予測できる。

とすると、当然医学教育も、今までの詰め込み教育ではあり得ない。教育の改革をいち早く進めることが、おそらくAI導入のカギになるだろう。しかしこのような問題はうれしい悲鳴で、実際にはGNPの10%を超す大きなお金が動く医療分野では、機械学習の弱点を攻めて不正が行われる可能性がある。

特に受けた医療にかかった費用を保険会社に申請して払い戻しを受ける保険システムのアメリカでは、払った費用が保険で支払うべきものかどうか、保険会社で膨大な努力と時間を使って判断しており、ここに機械学習導入が最も期待されていることから、機械学習が信頼できなくなると大混乱に陥ることが必死であると警告するハーバード大学の研究者たちの意見論文が3月22日号のScienceに掲載された。これを読んで、医療に悪意が侵入すると私が想像もしなかった危険が機械学習に潜んでいることを知り、紹介することにした(Finlayson et al, Adversarial attacks on medical machine learning (医療での機械学習に対する敵対的攻撃)Science 363:1287, 2019)。

この意見論文ではまず、現在使われているAIを撹乱する方法をいくつかの例で示している。

例1)皮膚病変を診断する機械学習システムが、adversarial noiseと呼ばれる目では認識できないノイズを写真にかぶせると、かぶせない時には良性腫瘍と正確に診断していたのに、100%悪性腫瘍と診断する判断ミスを犯す。

例2)同じようなノイズは、機械学習システムによっては写真の向きを変えるだけでも入れることができ、ミスを誘発することができる。もし、医師のレベルでこれが行われると、まず見破れず、虚偽の保険請求を許すことになる。

例3)保険の還付を受ける際の医療行為について、言語による記述から診断する機械学習が使われようとしているが、この時症状の記述方法を変えると撹乱される場合がある。例えば、現在アメリカは麻薬の使用が強く制限されており、医師の処方を判断する機械学習が開発されている。このシステムでは「back pain(背中痛)」と「alcohl abuse(アルコール飲みすぎ)」と記載すると麻薬使用が拒否されるが、「lumbago(腰痛)」と「alcohl dependency(アルコール依存症)」と書くことで、麻薬の使用が許可される。

例4)保険の還付申請を処理するため、コード化された症状のインプットを判断するAIがすでに動いているが、これも裏をかきやすい。現在様々な症状がコード化され、その組み合わせをAIが判断しているが、メタボリックシンドロームに対応するコードがインプットされる場合支払いが拒否されるのに、メタボリックシンドロームを良性本態性高血圧、高コレステロール血症、高血糖と3つのコードに分けてインプットすることで、病気として支払いが許可される。

そして、現在すでにこのようなインプットを操作して、実際に行われた医療より高額な支払いを受けることが実際に行われており、これを防ぐため、例えば実際の画像の添付を要求して、それから判断するシステムも開発されているが、上の例から見ても結局はイタチごっこになる。

これに対するいくつかの対策の可能性も書いてあるが、確実な方法はない。一つは、支払い側の目線、すなわちトップダウンに機械学習を設計する方法ではなく、ユーザー目線で設計することが必要だと示唆している。そして、何よりもAIが便利だからと急速な導入を図ると、気がついたら取り返しのつかない医療崩壊が待っていると結論している。

もともと機械学習は100%の正確さを求めるものではない。とすると、いくらでも穴を見つけてアタックして儲けようとする人間は出てくる可能性が高いことをこの意見論文は教えている。機械学習というと、患者と医師の間で、正しい判断が容易にできるようにするツールと思ってしまうが、このように治りたい、治したいという同じ方向を目指す関係だけなら、不正をする理由は全くない。しかし、そこにお金が絡むと、全く事情が変わることがよくわかった。

翻ってわが国を考えると、現在支払基金が人海戦術で行なっているレセプトの処理のAI化は、厚生労働省も最優先課題として進めていると思う。わが国の場合、支払い要求が医療機関であるため、もしグレーゾーンがあることがわかれば当然AIの裏をかこうとする動機が生まれることは間違いない。レセプトのAI化は至極当然のプロジェクトで、考えない方がおかしいのだが、どれだけ完成間近でも、一回立ち止まってぜひこの論文で示されたような穴がないことは明確にした上で導入してほしいと思う。