「すごく危ないAI」の禁止に潜む大きな「抜け穴」とは
「すごく危ないAI」の禁止には、大きな「抜け穴」がある。それは――。
犯罪捜査から医療や教育まで、様々な場面に浸透するAIをめぐり、欧州連合（EU）は主要国の先陣を切って、罰則付きの包括的な規制法案を発表した。
監視カメラやネット上の画像とAIを連動させた顔認識システムの拡大などが、大規模監視社会につながるとの批判が国際的に広がり、歯止めとなる規制策を求める声が高まっている。
そんな中、EUはこの規制案で、顔認識を犯罪捜査などでリアルタイムに使用することを原則的に禁止し、違反には巨額の制裁金を設定。急拡大するAIによる人権侵害への懸念に配慮し、AI活用とのバランスを取った、とアピールする。
だが、AI規制を求めてきた人権団体などからは、規制案に盛り込まれた大きな「抜け穴」に対する批判が相次ぐ。幅広い「例外規定」。規制の網がかからない“問題事例”。
事前にメディアが報じた「草案」と比べると、禁止条項などが極めて限定的な書きぶりに変わっており、水面下の攻防もうかがえる。
●「リスク」のピラミッド
この規制案で、我々は遠隔生体識別に焦点をあてている。これにより、多数の人々が同時に監視対象とされるためだ。これは基本的人権にかかわる問題であり、その用途を問わず、ハイリスクに分類した。さらに、遠隔生体識別を他のハイリスク分類よりも厳格な規制対象としているのは、そのためだ。
欧州委員会の上級副委員長（競争政策担当）、マルグレーテ・ベステアー氏は4月21日、AIの規制案発表の記者会見でこう述べた。
ここでベステアー氏が「遠隔生体識別」と呼ぶ代表的な用途が、国際的な批判が続くAIを使った顔認識システムだ。
（「ハイリスクAI」への）規制でも十分とは言えない状況、それが公共空間において、法執行機関がリアルタイムで遠隔生体識別を使用する場合だ。我々の社会で大規模監視を許すことはできない。そのため、この規制案では公共空間での生体識別を原則として禁止している。我々は極めて限られた例外も提示している。これらは厳密に定義され、制限され、規制されている。警察当局が行方不明の子どもを捜索するといった、特殊な事例などがこれに当たる。
主要国の先陣を切るEUのAI包括規制案は、AIの使用場面の危険度に応じて、「ミニマル（最小限）リスク」「リミテッド（限定的）リスク」「ハイ（高）リスク」「アンアクセプタブル（許されない）リスク」の４段階で規制を強めるピラミッド型の構造になっている。
AIの大半の用途は「ミニマル（最小限）リスク」に分類されるとし、テレビゲームやスパム（迷惑メール）の自動振り分けが例示され、規制の対象外としている。
危険度の2番目の「リミテッド（限定的）リスク」では、チャットボットが例示され、AIが使用されていることを明示するといった透明性確保が義務付けられている。
ただし、ここにはAIを使ったフェイク動画「ディープフェイクス」も含まれており、透明性を条件に使用は認められることになる。
※96％はポルノ、膨張する「ディープフェイクス」の本当の危険性（10/23/2019 新聞紙学的）
ベステアー氏が規制案の主眼と呼ぶのが、危険度3番目の「ハイ（高）リスク」だ。規制案では第3編（6条～15条）が、この「ハイリスクAI」の分類と使用の際の義務規定にあてられている。
ピラミッドの上部にはAIの“ハイリスク”の用途がある。これが我々の規制案の主眼だ。ハイリスクに分類されるのは、そのAIの利用が、我々の生活の重要な部分に入り込んでくるためだ。
規制案ではその具体的な規制分野が別表の形で、「生体識別」「重要インフラ」「教育」「雇用」「福祉」「法執行」「移民」「裁判」の8種21項目を列挙。
これら「ハイリスクAI」には、「リスク管理システム」「データ統治」「技術文書」「記録保存」「透明性」「人間による監視」「正確性・堅牢性・サイバーセキュリティ」の7項目の義務規定がある。
そして、最も危険度の高い「アンアクセプタブルリスク」があるとして使用禁止（5条）とされているのが、「サブリミナル（潜在意識）手法」「弱者の搾取」「信用評価」「リアルタイム遠隔生体識別」の4分類の用途だ。
「信用評価」の分類でよく知られるのが、中国の「社会信用スコア」だ。同様の仕組みが、新型コロナウイルスの感染追跡でも導入されたと報じられている。
※参照：中国の「信用スコア」ブラックリスト入りで1746万人が飛行機に乗れない（03/03/2019 新聞紙学的）
※参照：新型コロナ：「感染追跡」デジタル監視の新たな日常（03/25/2020 新聞紙学的）
規制案には、罰則規定（71条）もあり、この「使用禁止」（5条）と、「ハイリスク」の義務規定のうちの「データ統治」（10条）に違反した場合には最大で3,000万ユーロ（約39億円）か、企業の場合には世界売上高の6％のいずれか高い方、それ以外の義務規定などに違反した場合には、最大で2,000万ユーロ（約26億円）か、企業の場合には世界売上高の4％のいずれか高い方が過料として科される。
この法的枠組みが描くのは、我々が築き上げるべき信頼だ。AIの活用を人々や産業界に受け入れてもらうためには、信頼が必要なのだ。
ベステアー氏は、AI規制案の提出に、そう胸を張る。
●「大規模監視」の禁止と例外
本日の規制法案には、すでに欧州各地で目にしている幅広い生体情報大規模監視から人々を保護するための十分な対策がなく、失望している。
AIを使った顔認識システムによる大規模監視への規制策を要求してきた「欧州デジタルライツ（EDRi）」（ブリュッセル）や「アーティクル19」（ロンドン）、「プライバシー・インターナショナル」（ロンドン）、「アクセスナウ」など欧州の60にのぼる人権団体によるキャンペーン「リクレイム・ユア・フェイス（あなたの顔を取り戻せ）」は、EUのAI規制案が提出された4月21日、そんな共同声明を発表している。
キャンペーンは、規制の方向性は評価するものの、様々な「抜け穴」の存在を指摘する。
規制案は、上述の通り、警察などによる“リアルタイム”の顔認識の使用は原則として禁止している。
だが警察などの法執行機関以外の、情報機関などを含む政府当局、さらには企業による“リアルタイム”の顔認識も禁止対象とはなっていない。
さらに、録画した顔画像を事後的にデータベースで照合するという、“リアルタイム”ではない用途は禁止対象になっていない。
また、禁止は「原則として」であり、様々な例外が設けられている。
ベステアー氏も会見で述べているように、行方不明の子どもを含む犯罪の被害者らの捜索がその一つ。さらに生命・身体への差し迫った危険の防止。
そして、「逮捕令状と身柄引き渡しに関する欧州理事会枠組み決定」で対象とされた31類型の犯罪と、加盟国における「最高刑が禁固3年以上の犯罪」の加害者、容疑者の捜査、居場所特定、身元特定、起訴の目的での使用があげられている。
この31の類型には、組織犯罪、テロ、人身売買、児童ポルノ、ドラッグ密輸、武器密輸、汚職、詐欺、マネーロンダリング、通貨偽造、コンピューター犯罪、絶滅危惧種密輸、密入国斡旋、殺人、臓器売買、誘拐、人種差別、芸術品密輸、詐取、恐喝、製品偽造、文書偽造、決済手段の偽造、ホルモン物質の密輸強盗、核物質の密輸、盗難車密輸、レイプ、放火、国際刑事裁判所が管轄する犯罪、航空機・船舶の乗っ取り、破壊行為、と幅広い犯罪が含まれている。
実際には、法執行機関に認められた例外はあまりに幅が広すぎて、とてもじゃないが、これを禁止条項とは呼べない。
欧州議会議員で、欧州緑グループ・欧州自由連盟のアレクサンドラ・ギース氏は、規制案への23件にのぼる連続ツイートの中で、そう指摘している。
顔認識などの「遠隔生体識別」は、その一部が上述のように禁止条項に含まれているが、それ以外の用途は「ハイリスク」に分類され、義務規定はあるが、使用自体は認められることになる。
さらには、この禁止条項に含まれなかった用途についても、批判の声があがる。
その一つが、顔認識を使って性別、性的指向の自動判定が行われることによる、LGBTなど性的少数者への影響だ。
AIが性的少数者を自動判定することで、パスポートの性別と一致しないと判断されて飛行機の搭乗を拒否される、公衆トイレの使用を拒否される、といった懸念が以前から指摘されてきた。
だが、このような使用については禁止条項には盛り込まれていない。
●「顔認識」への懸念
EUのAI規制案の中でも、顔認識が大きな注目を集めるのは、人権侵害への懸念の声が世界規模で高まっているためだ。
ベステアー氏が「許すことはできない」と述べた大規模監視の実例として知られるのが、中国・新疆ウイグル自治区などでの展開が報じられるAI監視ネットワークだ。
※参照：監視カメラ・スマホアプリで追跡、中国「AI監視社会」のリアル（05/03/2019 新聞紙学的）
※参照：「AI判定で収容所送り、1週間で1.6万人」暴露された中国監視ネットの実態（11/28/2019 新聞紙学的）
また米国でも、IBMやアマゾン、マイクロソフトなどのIT大手が、相次いで顔認識からの撤退や停止などを表明する動きがあった。
※参照：IBM、Amazon、Microsoftが相次ぎ見合わせ、AIによる顔認識の何が問題なのか？（06/10/2020 新聞紙学的）
AIによる顔認識をめぐっては、白人よりも黒人の方が誤認識の割合が高く、警察の誤認逮捕の事例も相次いで明らかになるなど、人種や性別の違いによる差別的な悪影響が強く問題視されている。
※参照：AIと「バイアス」：顔認識に高まる批判（09/01/2018 新聞紙学的）
※参照：「コンピューターが間違ったんだな」AIの顔認識で誤認逮捕される（06/25/2020 新聞紙学的）
また、顔認識によって表情から感情を読み取る「感情認識」についても、白人にくらべて黒人の方が「怒り」などのネガティブな感情と判定される傾向があることが明らかになっている。
だが、この「感情認識」もEUの規制案では禁止条項には盛り込まれていない。
※参照：AIに勝手に感情を読み取られる、そのAIをダマす方法とは？（04/11/2021 新聞紙学的）
さらに顔認識システムには、ソーシャルメディアなどを通じて投稿される膨大な顔の画像なども、自動収集され、データベース化されて取り込まれている。
※参照：顔認識AIのデータは、街角の監視カメラとSNSから吸い上げられていく（04/21/2019 新聞紙学的）
その一つ、ニューヨークのベンチャー企業「クリアビューAI」は、30億枚の顔データベースを持つといい、警察などでの使用が社会問題化。米国各地で集団訴訟が起こされているほか、顔認識システムを規制する州法や条例なども制定されてきている。
※参照：SNSから収集、30億枚の顔データベースが主張する「権利」（03/22/2021 新聞紙学的）
※参照：SNS投稿30億枚から顔データべース、警察に広がるAIアプリのディストピア（01/19/2020 新聞紙学的）
「クリアビューAI」はEUでも問題視されている。
スウェーデンのプライバシー保護庁も2月11日、同国の警察官が「クリアビューAI」を正式な承認なしに使用していたとし、発表。顔認識のための生体識別データ処理や、データ保護影響評価を行っていなかったことが、同国の犯罪データ法に違反するとして、警察庁に対し、250万スウェーデンクローナ（約3,200万円）の過料を科した、としている。
EUの規制案では、「クリアビューAI」のようなサービスを警察が使うことも、“リアルタイム”でなければ、禁止はされておらず、例外規定に列挙された犯罪類型であれば、“リアルタイム”でも使うことができる。
また「クリアビューAI」のような企業が行う場合も、禁止条項には該当しない。
●制定への攻防
グーグル、アップル、フェイスブック、アマゾン、マイクロソフトなどのグループ「ドット・ヨーロッパ」は、EUのAI規制案に「歓迎する」と短いコメントをツイートしている。
今回の規制案が発表される1週間前、ポリティコにより、その草案がスクープされている。
その草案と今回発表された規制案を比べると、適用範囲をかなり限定する修正が行われていることがわかる。
「使用禁止AI」の条文のうち、今回発表の「サブリミナル手法」（5条1(a)）については、草案（旧4条1(a)）では「サブリミナル」という文言はなかった。
草案では、「人の行動、意見、判断を、ユーザーインターフェイスにおける選択アーキテクチャなどによって操作するようにデザインされたAIシステム」と表現。ユーザーインターフェイスのデザインによって解約手続きなどをしづらくする「ダークパターン」のような用途を思わせる書きぶりだ。
だが、発表された規制案では、ベステアー氏が例として「音声アシスタントで子どもに危険な行為をさせるおもちゃ」をあげたように、「ダークパターン」とはかけ離れた印象を与える。
また、この「サブリミナル手法」と「弱者の搾取」の項目には、草案にはなかった「身体的もしくは精神的な危害を及ぼす」との限定条件が加わり、その射程が明確に絞り込まれている。
さらに、規制案の「リアルタイム遠隔生体識別」（5条1(d)）も、草案（旧4条1(c)）では、顔認識などに限らない幅広いユーザーの行動分析そのものに触れるような書きぶりで、例外規定などもなかった。
あらゆる自然人を対象とし、汎用的に設置された無差別監視のためのAIシステム。監視の手法としては、デジタルもしくは物理環境において収集された通信、位置、メタデータなどの個人データへの直接的な取得もしくはアクセス、あるいは様々なソースからのそれらのデータの自動収集と分析を通じて、自然人の監視、追跡を行う大規模AIシステムを含む。
「クリアビューAI」はもちろん、広くプラットフォーム全般、さらには政府の情報機関に適用されてもおかしくはない表現だ。
規制案の幅広い例外つきの「リアルタイム遠隔生体識別」とは、大きな隔たりがある。
水面下では様々な攻防があったことがうかがえる。
規制の成立までには数年かかると見られている。攻防はさらに過熱しそうだ。
（※2021年4月25日付「新聞紙学的」より加筆・修正のうえ転載）
