「福祉手当の不正受給」の危険度が高い人物を、AIを使って予測し、洗い出す――このAIが“人権侵害”に当たるとして、差し止めを命じる判決が出された。

オランダ・ハーグの裁判所が５日、政府がAIシステムで行っている福祉手当の「不正受給者」洗い出しのための危険度予測が、欧州人権条約に違反しているとして、使用停止を命じる判決を出した。

裁判には国連の人権専門家も加わり、その人権侵害をめぐる議論は国際的な注目を集めた。

AIによる行政や司法手続きなどの「自動化」は、幅広い分野で普及し始めている。

だが、その仕組みや効果が不透明な一方で、人権侵害への批判、特に貧困層やマイノリティへのダメージにつながる、との疑問の声も高まっている。

米国では、刑事被告の保釈手続きで、再犯危険度を予測するAIシステムが広く採用されている。

だが人権団体の調査によると、高止まりが指摘される勾留件数が、AIシステム導入によって減少するなどの効果はほとんど明らかにされていない、という。その一方で、これらのシステムが人種による差別的判定をすることが、数年前から注目されている。

そもそも、AIによる行政や司法などの社会システムの「自動化」は、メリットがデメリットを上回るのか。

オランダの事例からは、そんな基本的な議論が置き去りにされてきた現状がうかがえる。

●「不正受給者」を洗い出す

オランダ紙「フォルクスクラント」によると、問題となっていたのは、政府が2014年に福祉手当の不正受給対策のために導入したAI予測システム「システム・リスク・インディケーション（SyRI）」。

政府や各自治体は、不正受給者を洗い出すためにこのAIシステムを利用。雇用、逮捕歴、納税、不動産所有、教育、年金、負債、手当の受給、保険、といった幅広い個人データを網羅的に分析し、不正受給の危険度を算定する。

そして、その危険度の高かった人々を、さらに人間の担当者が精査するのだという。

これまでにこのAIシステムが使われたケースはロッテルダムなど４自治体で５件。

このうちロッテルダムは2018年、市内の二地域の住民1万2,000人を対象にAI予測を実施。不正受給の危険度が高かった1,263人を洗い出した。

しかし、この対象が低所得者や移民が多く住む地域だったことなどから批判が集中。2019年7月、ロッテルダムは「理解が得られない」としてこのAIシステムの使用停止を発表している。

結局これまでのところ、システムやデータの不具合などから、このAIシステムを使って実際の不正受給者に行き当たったケースはなかったという。

●人権条約に違反

オランダ・ハーグ地裁での裁判は、人権団体やプライバシー保護団体、さらに同国最大の「オランダ労働組合連盟（FNV）」などが原告となり、2018年に提訴された。

裁判では、このAI予測システム「SyRI」が、欧州における人権保護を定めた「欧州人権条約」のプライバシー条項（第8条「私生活及び家庭生活の尊重についての権利」）に違反しているかどうかが論点となった。

プライバシー条項は、私的生活・家庭生活や住居、通信の権利を保護し、公共の安全などに関わる場合を除き、公的機関による干渉を禁じている。

判決では、不正受給対策の必要性、および新たなテクノロジーの採用によって政府のオプションが広がることについては認めたが、新たなテクノロジーの導入にあたっては、プライバシー保護との「適切なバランス」が必要、と述べている。

オランダ政府は、このAI予測システムの仕組みである「リスクモデル」を開示していない。

判決は、このAI予測システムは不透明であり、2018年に施行されたEUの新データ保護法「一般データ保護規則（GDPR）」やEU基本権憲章などにおけるプライバシー保護の基本原則、「透明性」「目的明確化」「利用制限」などに合致していないと指摘。

AI予測システムの使用が、低所得層や移民が住む地域に対する「差別やレッテルにつながる」危険性について、こう述べている。

その上で、このAIシステムの差し止めを命じている。

●貧困層へのダメージ

この裁判の中で、人権の専門家で国連の貧困と人権に関する報告者、ニューヨーク大学教授のフィリップ・アルストン氏が意見書（アミカス・クリエ）を提出。

意見書でアルストン氏は、オランダのAI予測システムについて、福祉制度のAIによる自動化と合理化という国際的なトレンドにおける問題点と位置づけ、こう述べている。

そして「特に、貧困層に絶大なダメージが及ぶことになる」とアルストン氏。

その上で、こう指摘している。

ガーディアンによれば、アルストン氏の指摘するように、AIを使った福祉制度の合理化、自動化という“デジタル福祉国家”の流れはオランダだけではなく、英国や米国、オーストラリア、インドなど大きな広がりを見せている。

そしていずれの場合も、その影響は貧困層を直撃している。

インドでは、指紋などの生体認証を含む国民IDシステム「アドハー」が導入されている。だが、指紋認識の不具合から、突然、食料配給を停止された貧困層の市民が自宅前で餓死する、という事件も起きているという。

●「犯罪予測」と重なる課題

ハーグ地裁やアルストン氏が指摘するAI予測システムの弊害は、すでに別のケースでも明らかにされている。

警察が採用するAIによる犯罪発生予測システムの問題だ。

米国では50を超す警察が採用する「プレッドポル」と呼ばれるAI犯罪発生予測システムが知られ、英国でも導入が始まっている。

過去の犯罪発生データから、AIが犯罪が発生する地域や時間帯を予測し、警察官を重点的に配備する、という仕組みだ。

だが「プレッドポル」の導入によって、かえって特定地域の犯罪の“発生率”が上がり、住民への差別や偏見を助長することにつながる、という問題点が指摘されている。

サンフランシスコの人権団体「ヒューマン・ライツ・データ・アナリシス・グループ（HRDAG）」は2016年10月、「プレッドポル」の予測精度に関する調査結果を公開している。

その中で、「プレッドポル」の予測のもとになるデータが、犯罪発生そのもののデータではなくて、警察が犯罪発生を覚知したデータである、と指摘。

警察官が集中的に監視する地域は犯罪の覚知率が高くなり、発生予測も高くなる。するとより監視が強まり、さらに犯罪の覚知率は高くなる、という繰り返しになってしまうと述べる。

そしてそのような地域は、オランダのSyRIのケースと同様、大半が低所得層や人種的マイノリティの居住地域だという。

ユタ大学などの研究チームは、2017年6月に発表した論文で、この傾向を数理モデルによって証明。警察官が集中的に見回ることによって、特定地域の犯罪発生率の上昇と巡回の重点化が無限に繰り返される「暴走フィードバックループ」が起きる、と指摘している。

警察による警戒の重点化と犯罪覚知率の上昇は、結果として地域住民へのバイアスを固定化する「負のスパイラル」につながる。

これも、不正受給への警戒の重点化が、低所得層などへの「差別とレッテル」に結びつく危険性がある、とするハーグ地裁の判決と、同じ構造の問題だ。

●被告の危険度を予測する

AIによる予測システムとしては、米国の刑事裁判で、被告の再犯の危険度を予測する「COMPAS」もよく知られている。

「COMPAS」とは、被告に137問の質問に答えさせ、過去の犯罪データとの照合により、再び罪を犯す危険性を10段階の点数として割り出すシステムだ。この質問には、犯罪、保釈の履歴や年齢、雇用状況、暮らしぶり、教育レベル、地域とのつながり、薬物使用、信条、さらには家族の犯罪歴、薬物使用歴なども含まれる。

「COMPAS」に関しては、調査報道メディアの「プロパブリカ」が2016年、独自の検証によって、白人よりも黒人に対して再犯の危険度を高く予測する、と指摘。「AIバイアス」の代表的な事例として知られている。

米国では、このようなAIによる再犯予測システムは、刑事裁判の判決の参考データとして利用されるほか、公判前の被告の保釈手続きでも広く使われている。

このAI再犯予測システムについて、「メディア・モビライジング・プロジェクト」（フィラデルフィア）と「メディアジャスティス」（オークランド）という二つの人権擁護NPOが、実態調査を行った結果を2020年2月6日に公開した。

調査では公判前保釈手続きで使用されているAI再犯予測システムに焦点を当て、同システムを採用している全米46州とコロンビア特別区の1,000にのぼる郡での運用実態をまとめている。

それによると、使用されている再犯予測システムはまちまちで、「COMPAS」や郡独自のものも含めて57種にも上っている。再犯予測に使うデータ項目や、再犯危険度のスコアのつけかたも、やはりシステムごとにまちまちだ。

調査では、38の司法管轄区域に対して個別の聞き取りも実施している。

この中で、再犯予測システムの導入によって、高止まりが指摘される公判前の勾留件数の減少につながったか、について質問。

これに対しては、9カ所が減少した、との回答だったが、大半はそのような追跡調査そのものをしておらず、再犯予測システムが保釈率向上などに効果があるかどうかは検証されていない、としている。

同種の調査は、人権擁護団体「電子プライバシー情報センター（EPIC）」も以前から行っており、2019年9月に実施した最新の調査結果も公表されている。

●再犯予測システムの欠陥

これらの再犯予測システムについては、そもそも根本的な欠陥がある、との指摘もある。

マサチューセッツ工科大学（MIT）メディアラボの研究者らが、この問題をニューヨーク・タイムズへの寄稿で指摘している。

この中で研究者らは、ワシントン州では被告の94％を保釈しているが、そのうち保釈中に暴力事件で逮捕されるケースはわずか2％にすぎない、と指摘。

AIによる予測は、人間よりも中立的で正確な結果が期待されているが、そもそもAIの学習に用いる過去の類似ケースのデータが人種的にバイアスがかかっている上に、再犯が起きる可能性が極めて限られているため、実際に再犯に至る人物を特定するようなことは、ほぼシステム的には不可能だ、と述べている。

つまり、この再犯予測システムは役に立たない、というのだ。

人権を侵害し、本来の目的達成はおぼつかない。

オランダ・ハーグ地裁の判決をきっかけにAI予測システムのあり様をめぐって、そんな議論が沸き上がってきている。

（※2020年2月9日付「新聞紙学的」より加筆・修正のうえ転載）