住宅ローンの拒否の割合に1.8倍もの格差が――審査の裏側には、AIが判定するそんな「見えない」差別があった。

米報道NPO「ザ・マークアップ」がAP通信と共同で配信した調査報道で、AIを使った住宅ローン審査での、深刻な人種差別の実態を指摘している。

全米約240万件の住宅ローン審査結果のデータを分析したところ、白人と有色人種とでは、地域によって最大3倍もの格差があった、という。

「AIバイアス（偏見）」として知られる、AIの判断のゆがみはこれに限らない。

フェイスブックでは、黒人男性の写った動画について、AIが「霊長類」というメッセージを表示した、として謝罪する騒動もあった。

採用面接など社会の様々な場面でも使われるAIは、なお、油断のならない差別を裏側に抱え込んでいる。

●240万件の分析

「ザ・マークアップ」の調査報道ジャーナリスト、エマニュエル・マルチネス氏とローレン・カーシュナー氏は、8月25日にAP通信と共同で配信した記事「住宅ローン承認アルゴリズムに隠された秘密のバイアス」の中で、そう指摘している。

マルチネス氏らが調査で取り上げたのは、米住宅ローン開示法（HMDA）によって報告義務がある住宅ローンの融資データだ。

このうち2019年分の全米の約240万件について、「性別」「年齢」「収入」「融資額」など16項目について、類似するケースを人種ごとに比較した。

それによると、住宅ローン申請拒否の割合が最も高かったのは黒人で、最も低い白人と比べると1.8倍の違いがあった。

次に拒否の割合が高かったのはネイティブアメリカンで、白人の1.7倍。さらにアジア・太平洋諸島系（1.5倍）、ラテン系（1.4倍）と続く。

この格差は、地域によってさらに拡大する。

全米約90カ所の大都市圏で比較したところ、シカゴ（イリノイ州）では、黒人の申請拒否の割合が最も高く、白人に比べて2.5倍となっていた。

また、セントポートルーシー（フロリダ州）では、アジア・太平洋諸島系への拒否の割合が、白人に比べて3倍にものぼった。

●差別の裏側

住宅ローン審査では、クレジットカードなどの履歴に基づく信用情報「クレジットスコア」が、重要な要素となる。

住宅ローン開示法の公開対象からは除外されているため今回の分析には含めていないが、連邦政府の金融規制監督機関である金融消費者保護局（CFPB）が、この非公開のクレジットスコアを分析した報告が公開されている。

これを基に検証したところ、クレジットスコアが同じだったとしても、黒人が住宅ローンを拒否される割合は白人に比べて1.5倍から2.2倍高い、という。

その上でマルチネス氏らは、そもそもこのクレジットスコアのAIアルゴリズムに問題がある、と指摘する。

米政府系金融機関の連邦住宅抵当金庫（ファニーメイ）と連邦住宅貸付抵当公社（フレディーマック）は、全米の住宅ローンのほぼ半数を買い入れており、住宅ローン審査に大きな影響力を持つ。

この二つの政府系金融機関が、民間の金融機関に対して、住宅ローン申請者の絞り込みに、10年以上前の古いクレジットスコアのAIアルゴリズム（クラシックFICO）を使うよう要求しているのだという。

AIの判断基準は、その前の時代のデータを学習してつくられる。

人種差別がより色濃かった時代のデータを使って学習したAIは、その基準を今の判断に持ち込んでしまう、という危険性がある。

マルチネス氏らはさらに、二つの政府系金融機関がローンを承認する際に使う、自動判定ソフトのAIアルゴリズムも不透明であり、人種や民族が影響を与える可能性がある、との研究結果を指摘。

これとは別に、民間の金融機関が住宅ローン審査に使う独自のAIアルゴリズムは、「さらに謎だ」とも述べている。

マルチネス氏らは、住宅ローン審査には、これら不透明な複数のAIアルゴリズムが絡み合っている、という。

「ザ・マークアップ」の取材に対し、米国銀行協会（ABA）などの金融機関側は、前述のように、この分析にクレジットスコアなどの重要データが含まれていない点などを挙げて批判。「住宅ローン市場には差別はない」との声明を出している。

●相次ぐAIの差別

AIのアルゴリズムが、人種や性別などによって差別的な評価を行う「AIバイアス」は、社会の様々な場面で深刻な影響を及ぼすようになっている。

マサチューセッツ工科大学（MIT）メディアラボのジョイ・ブオラムウィニ氏とマイクロソフト・リサーチ（当時）のティムニット・ゲブル氏は、2018年2月に公表した顔認識のAIシステムについての研究で、有色人種や女性の誤認識率が、白人や男性に比べて高い、という結果を明らかにしている。

ゲブル氏はグーグルのAI倫理チームの共同責任者だった2020年12月、同社の「AIバイアス」への取り組みの問題点を指摘したことをめぐって解雇された、と公表したことでも知られる。

人権擁護団体の「米自由人権協会（ACLU）」は2018年7月、アマゾンの顔認識AIが、28人の連邦議会議員の顔を、逮捕歴のある人物として誤認識した、との実験結果を明らかにしている。

誤認識された議員のうち、有色人種の割合は約4割。議員全体での有色人種の割合（2割）の倍だった。

※参照：AIと「バイアス」：顔認識に高まる批判（09/01/2018　新聞紙学的）

AIは人の「感情」を読み取ることにも使われている。

採用面接から教育まで、AIを使った「感情認識」テクノロジーの市場は急拡大し続け、5年後には4兆円市場になるとの予測もある。

だが「感情認識」の精度をめぐっては、黒人の方が白人に比べて「怒り」などのネガティブな感情として分析される傾向が高いといった研究も明らかになっており、その「バイアス」に懸念が指摘されている。

※参照：AIに勝手に感情を読み取られる、そのAIをダマす方法とは？（04/11/2021　新聞紙学的）

「AIバイアス」は深刻な被害も招く。

2020年1月には米ミシガン州デトロイトで、防犯カメラの画像を警察の顔認識システムが誤判定した結果、無関係の黒人男性が、万引きの容疑者として家族の目の前で誤認逮捕される事件が起きている。

※参照：「コンピューターが間違ったんだな」AIの顔認識で誤認逮捕される（06/25/2020　新聞紙学的）

「AIバイアス」が潜むのは、住宅ローンや顔認識だけではない。

米調査報道NPO「プロパブリカ」が2016年、フロリダ州などの裁判所が使うAIによる被告の「再犯予測プログラム」を検証したところ、黒人の再犯危険度が白人よりも高く出る傾向があった、としている。

※参照：見えないアルゴリズム：「再犯予測プログラム」が判決を左右する（08/06/2016　新聞紙学的）

この調査報道を手がけたジャーナリストのジュリア・アングウィン氏が「プロパブリカ」を離れ、2018年に設立したのが冒頭の「ザ・マークアップ」だ。アングウィン氏は現在、同サイトの編集長を務めている。

さらに、カリフォルニア大学バークレー校などの研究チームが2019年10月に学術誌「サイエンス」に発表した研究結果によると、医療保険会社が「ハイリスク患者」を判定する際に使うAIシステムのデータを比較したところ、同じスコアでも、黒人の方が白人よりも3割近くも病状が重かったという。

つまり、黒人の方が「ハイリスク」に認定されるためのハードルが高かった、ということになる。

※参照：患者の医療判定にも“AI差別”、修正しても残る壁（10/28/2019　新聞紙学的）

●「霊長類」とメッセージ

AIが急速に社会に広がる中で、この「AIバイアス」の問題も大きな注目を集め、対策も取られつつある。だがなお、様々な場面で「AIバイアス」が噴出する。

ニューヨーク・タイムズの2021年9月3日の記事によれば、フェイスブックは黒人男性の写った動画の下に、こんなおすすめメッセージを表示した、という。

メッセージが表示されたのは、英デイリー・メールが2020年6月末にフェイスブックに投稿した動画で、黒人男性が警察官などと口論している様子を写したものだった。

メッセージは、フェイスブックのAIが動画を認識し、自動生成したものだった。

フェイスブックの元コンテンツデザインマネージャーが知人からの連絡で気づき、同社にツイッター上で指摘して、問題が明らかになった。

フェイスブックは同日、「容認できないエラーだ」として謝罪し、AIによる自動おすすめメッセージ機能を停止した、という。

プラットフォーム上での、同じようなAIによる画像の誤認識は、これまでにもあった。

2015年6月、グーグルの写真保存サービス「グーグルフォト」が、AIによる自動ラベル付け機能で、黒人の写真に「ゴリラ」と表記した騒動だ。

米ワイアードはこの騒動から2年半後の2018年1月、4万枚の動物の写真を使って、「グーグルフォト」のこの問題への対応結果を検証している。

すると、「ゴリラ」「チンパンジー」「サル」といった単語では「検索結果なし」の回答しかかえって来なかった。グーグルは検索語・タグから「ゴリラ」を外し、「チンパンジー」「サル」もブロックしていたという。

つまり、「AIバイアス」に対する根本的な対策は、取ることができなかったということになる。

※参照：AIのバイアス問題、求められる「公平」とは何か？（09/22/2018　新聞紙学的）

●「バイアス」検証を呼びかける

「AIバイアス」を、むしろ積極的に明らかにしていこうとする取り組みもある。

ツイッターは2021年8月に開催されたハッカーイベント「デフコン」の中で、「アルゴリズムバイアス懸賞金チャレンジ」を開催した。

同社の画像認識アルゴリズムを公開し、その「バイアス」の特定を競うという企画で、3,500ドル（約38万円）から500ドル（約5万5,000円）までの懸賞金を用意した。

ツイッターの画像認識アルゴリズムは、若くてスリムな女性を好む――米ワイアードによれば、1等となったスイス連邦工科大学の大学院生は、そんな「バイアス」を明らかにしたという。

ツイッターの投稿写真から自動でサムネイル（縮小）画像を切り出すAIが、黒人よりも白人、男性よりも女性を優先する「AIバイアス」が確認された――同社は2021年5月にそんな調査結果を明らかにし、このトリミング機能を停止している。

※参照：Twitterが「AIの差別」を認めた理由とは（05/22/2021　新聞紙学的）

この「バイアス」も、カナダの大学院生による指摘がきっかけになっていた。今回の懸賞金企画は、そんな検証をさらに幅広く呼びかける、という取り組みだったようだ。

●なくそうとしてもなくならない、隠しても見つかる

「AIバイアス」は、なくそうとしてもなかなかなくならない一方、隠そうとしても見つかってしまう。

そして「バイアス」を抱えたままでAIが社会に広がっていけば、AIのゆがみが、社会をさらにゆがませる。

「AIバイアス」は、AIと社会が付き合っていく上での、大きなハードルの一つだ。

「差別はない」と断言する前に、やるべきことはありそうだ。

（※2021年9月6日付「新聞紙学的」より加筆・修正のうえ転載）