手厚い医療措置が必要な「ハイリスク患者」を判定するシステムに、根深い“AI差別”があった――。

カリフォルニア大学バークレー校などの研究チームが、25日付の科学誌「サイエンス」に発表した論文で、そんな実態を明らかにした。

このシステムによるデータを人種で比較したところ、同じスコアでも、実際には黒人の方が白人よりも３割近くも病状が重かったという。

“AI差別”は、これまでにも仮釈放の判定や、顔認識の精度、人材採用などで、人種や性別による判断のゆがみとして指摘されてきた。

だが、その原因がアルゴリズムとビッグデータの中にあるため、外部から見つけ出すのは難しいのが現状だ。

今回明らかになった“AI差別”は、命にかかわる判定に潜んでいた。そして、論文の調査対象を含む国内トップ10の代表的判定システムで、同種のアルゴリズムは使われており、その影響範囲は毎年２億人近くにのぼるという。

しかも、この判定アルゴリズムには、「人種」の項目は入っていなかった。

研究チームが調べたところ、今回、“AI差別”を引き起こしていたのは、患者の医療費、だった。

なぜ医療費が、“AI差別”につながったのか。

●黒人の方が３割近く重い病状

サイエンス・ニュースやワシントン・ポストによると、カリフォルニア大学バークレー校などの研究チームが調査対象としたのは、医療保険の「ユナイテッドヘルス」の子会社「オプタム」の判定システム「インパクトプロ」。

このシステムは、オバマ前大統領による医療保険制度改革（オバマケア）を受けて、より重い症状の患者に手厚い医療を行うために、将来的な合併症などのリスクを抱える「ハイリスク患者」をスコアによって判定するものだ。

調査では、この「インパクトプロ」を導入している医療機関における、プライマリ・ケア（総合診療）の患者の2013～2015年のデータに基づいて、白人4万3,539人と黒人6,079人のスコアと症状の比較を行った。

すると、例えばリスクスコア（パーセンタイル）が97とハイリスクの患者を見ると、高血圧や糖尿病といった抱えている慢性疾患の数が、黒人の場合は平均で4.8なのに対し、白人の場合は3.8。黒人の方が26％も症状が重かった。

そして、スコアリスクが97以上の患者全体に占める黒人の割合は17.7％に過ぎなかった。

●“AI差別”を引き起こしたもの

アルゴリズムの自動予測や自動判定が引き起こす“AI差別”は、これまでも様々な形で指摘されてきた。

2016年には刑事事件の被告に対する「再犯予測プログラム」で、黒人に対する危険度評価が白人に比べて高くなることが、調査報道NPO「プロパブリカ」の報道で明らかにされた。

※参照：見えないアルゴリズム：「再犯予測プログラム」が判決を左右する（08/06/2016　新聞紙学的）

また、ロイターによると、アマゾンがAIを使った採用システムの開発を進めたところ、女性に対しての評価が低くなる、という“AI差別”が判明。これを排除することができず、開発を断念した、という。

さらに、IT各社が提供する「顔認識」のAIをめぐっても、女性や黒人の誤認識率が高いことが指摘されてきた。

※参照：ＡＩと「バイアス」：顔認識に高まる批判（09/01/2018　新聞紙学的）

※参照：AIは中立ではなく「女性嫌い」　検証結果で見えてきた負の側面（02/20/2019 AERA dot）

これら“AI差別”の問題に対しては、判定や予測の基になるデータから、性別や人種といった差別につながる項目を削除する、といった対策も取られている。

だが、それでも結果的に差別が残るケースがある。性別や人種に特徴的で、結果的に差別を引き起こす要因となる「プロキシ―（代理）」と呼ばれるデータの存在だ。

今回の調査対象となった「インパクトプロ」の場合も、人種のデータは判定項目から除外されていた。

研究チームによって判明した“AI差別”の要因は、医療費負担だった。

●黒人と医療費

「インパクトプロ」のアルゴリズムは、「ハイリスク患者」を判定する主な指標として、将来的な医療費の予測データを使っていた。元になるのは、医療費負担のデータだ。

多くの医療費がかかるということが、将来的なハイリスクにつながる、との見立てだ。

だが、研究チームが、患者の症状と医療費を黒人と白人で比較したところ、黒人の方が医療費が明らかに低くなる傾向があった。

抱えている慢性疾患の数が同じ患者で比較すると、年間の医療費は黒人の方が白人に比べて平均で1,801ドル（約20万円）も低かったという。

つまり、同じ病気を抱えていても、黒人は白人よりも医師にかかったり、薬を服用したりすることが少ない、ということになる。

このために、アルゴリズムによる「ハイリスク患者」の判定が、黒人に不利な結果を示していたのだという。

ではなぜ、黒人の医療費は白人に比べて低いのか。

研究チームは大きく二つの理由を挙げている。

一つは、貧困の壁だ。米商務省統計局による2019年9月発表のデータによると、黒人の貧困率は20.8%に対して、白人（非ヒスパニック）は8.1％と大きな格差がある。

今回の調査対象者はすべて医療保険の対象となっていた。だが、貧困層の場合には、保険のカバー範囲に限定があったり、居住地域から医療機関への物理的なアクセス、仕事や育児の都合、医療機関にかかるという知識の欠如など、様々な理由が想定される、といいう。

また、黒人患者に対する、医療機関側の差別的な取り扱いの壁も、受診のハードルになるという。

これらに加えて研究チームは、黒人社会では、黒人梅毒患者に対する無治療実験が明らかになった1972年の「タスキギー梅毒実験」などをきっかけに、米国の医療制度に対する不信感が根強いことも、背景として挙げている。

●“AI差別”の倍以上の改善

研究チームは、“AI差別”につながる医療費予測だけではなく、患者の症状そのものも反映するようアルゴリズムを組み替えたところ、ハイリスクスコアが97以上と認定された黒人患者の割合は、全体の17.7％から、倍以上の46.5%にまで増加した、という。

研究チームはサービス提供元である「オプタム」とも連携し、すでにこのアルゴリズム修正は実装されている、という。

アルゴリズムの問題点が明らかになりさえすれば、修正は可能だということが示された。

だが、外部からはうかがい知れないアルゴリズムの問題点を、他のケースでどう明らかにしていくのか、という課題は残る。

また、今回の問題の背景となっていた黒人の医療費の低さ、そして黒人の貧困率や医療機関での差別、医療不信などの、米国社会が抱える根本的な問題は、依然として残ったままだ。

（※2019年10月28日付「新聞紙学的」より加筆・修正のうえ転載）