クォンタムラン

画像クレジット:

iStock

脆弱な人々のスコアリング: テクノロジーがコミュニティに敵対するとき

人工知能は前進を続けていますが、偏見につまずき、経済的不平等を悪化させる可能性があります。

著者：
著者名
クォンタムラン・フォーサイト
2024 年 2 月 14 日

洞察の要約

雇用や医療などの分野で人工知能（AI）の役割が拡大すると、脆弱なコミュニティが偏見や非倫理的な採点行為にさらされる可能性がある。重要な分野で AI への依存が高まっていることは、差別を防ぐための多様なデータと厳格な規制の必要性を浮き彫りにしています。この傾向は、AI アプリケーションにおける透明性、公平性に対する需要の高まり、およびテクノロジーガバナンスに対する公共および政府のアプローチの変化を浮き彫りにしています。

脆弱な人々のコンテキストをスコアリングする

近年、AIはさまざまな分野、特に雇用、医療、警察執行でますます使用されています。 2020 年までに、米国の採用担当者の半数以上が採用活動にアルゴリズムソフトウェアと AI ツールを導入しており、この傾向は成長し続けています。これらのプラットフォームやシステムを強化するアルゴリズムは、プロファイルからの明示的な情報、ユーザーのアクションから推測される暗黙的なデータ、行動分析など、さまざまなデータタイプを活用します。ただし、このデータとアルゴリズムによる意思決定の複雑な相互作用により、バイアスのリスクが生じます。たとえば、女性は履歴書で自分のスキルを過小評価することが多く、特定の性差別的な表現がアルゴリズムによる候補者の適合性の評価方法に影響を与える可能性があります。

医療分野では、これらのアルゴリズムのトレーニングに使用されるデータが多様でない場合、特に過小評価されているグループに対して、誤診や不適切な治療の推奨につながる可能性があります。もう 1 つの懸念は、医療データは非常に機密性が高いため、プライバシーとデータセキュリティです。警察においては、予測型警察アルゴリズムや顔認識技術、監視システムなど、さまざまな形でAIが活用されています。いくつかの研究は、有色人種がこれらの顔認識システムによって誤って識別されることが多いことを強調しています。

これらの課題に対処するために、規制の状況は進化しています。 2022 年のアルゴリズム責任法などの立法措置は、重要な意思決定分野における AI システムの影響評価の実施を企業に義務付けることで、アルゴリズムのバイアスを軽減することを目的としています。ただし、AI を活用した採用プロセスにおけるバイアスの問題に対処するには、複数の関係者による協調的な取り組みが必要です。テクノロジー開発者はアルゴリズムの透明性と公平性を確保する必要があり、企業はこれらのツールの限界を認識して対処する必要があり、政策立案者は差別的慣行から保護する規制を施行する必要があります。

破壊的な影響

主に信用スコアリングやアルゴリズム雇用などのシステムを通じて、弱い立場にある人々をスコアリングすることの長期的な影響は、社会的流動性と経済格差に大きな影響を与える可能性があります。金融の信頼性を判断するために不可欠な信用スコアは、多くの場合、社会経済的背景が低い人々に不利になります。これにより、時間が経つにつれて、恵まれない人々が重要な金融サービスにアクセスする際にさらなる困難に直面するというサイクルが永続化します。

偏ったスコアリングシステムの影響は、より広範な社会的排除につながり、住居、雇用、必要不可欠なサービスへのアクセスに影響を与える可能性があります。スコアが低い人や、偏ったアルゴリズムによって不当に評価された人は、住居や仕事を確保することが難しくなり、既存の社会的不平等が強化される可能性があります。このシナリオは、狭いデータポイントだけに依存するのではなく、個人の生活のより広い文脈を考慮した、より公平なスコアリングシステムの必要性を強調しています。

企業、特に金融および採用部門の企業は、これらの偏ったシステムに依存することで、意図せずして社会の階層化に貢献する可能性があります。一方、各国政府は、脆弱な人々を保護するために技術の進歩に合わせて規制を確実に進めるという課題に直面しています。スコアリングシステムの透明性と説明責任を促進する必要があり、さもなければ国民が政府機関やプログラムに対する信頼を失う危険にさらされることになります。