Bodování zranitelných lidí: Když se technologie obrátí proti komunitám

• Autor:
• jméno autora

  Quantumrun Foresight
• Února 14, 2024

Shrnutí statistik

Rozšiřující se role umělé inteligence (AI) v odvětvích, jako je zaměstnanost a zdravotnictví, by mohla vystavit zranitelné komunity zaujatosti a neetickému hodnocení. Rostoucí závislost na AI v kritických oblastech podtrhuje potřebu různých dat a přísných předpisů, aby se zabránilo diskriminaci. Tento trend zdůrazňuje rostoucí poptávku po transparentnosti, spravedlnosti v aplikacích AI a posun ve veřejných a vládních přístupech k řízení technologií.

Bodování kontextu zranitelných osob

V posledních letech se AI stále více používá v různých sektorech, zejména v zaměstnání, zdravotnictví a policejním vymáhání. Do roku 2020 více než polovina náborových manažerů v USA začleňovala algoritmický software a nástroje AI do náboru, což je trend, který stále roste. Algoritmy pohánějící tyto platformy a systémy využívají různé typy dat, včetně explicitních informací z profilů, implicitních dat odvozených z akcí uživatelů a analýzy chování. Tato komplexní souhra dat a algoritmického rozhodování však přináší riziko zkreslení. Ženy například často nedostatečně reprezentují své dovednosti v životopisech a specifický genderový jazyk může ovlivnit, jak algoritmus vyhodnotí vhodnost kandidáta. 

Pokud ve zdravotnictví nejsou data používaná k trénování těchto algoritmů různorodá, může to vést k nesprávné diagnóze nebo nevhodným doporučením léčby, zejména u nedostatečně zastoupených skupin. Dalším problémem je soukromí a bezpečnost dat, protože zdravotnická data jsou extrémně citlivá. Při policejní práci se umělá inteligence využívá v různých formách, jako jsou prediktivní policejní algoritmy, technologie rozpoznávání obličejů a sledovací systémy. Několik studií poukázalo na to, že lidé s jinou barvou pleti jsou často pomocí těchto systémů rozpoznávání obličeje identifikováni nesprávně.

Regulační prostředí se vyvíjí, aby tyto výzvy řešilo. Legislativní úsilí, jako je Algorithmic Accountability Act z roku 2022, má za cíl zmírnit zkreslení algoritmů tím, že vyžaduje, aby společnosti prováděly hodnocení dopadu systémů AI v kritických oblastech rozhodování. Řešení problému zaujatosti v náborových procesech řízených umělou inteligencí však vyžaduje společné úsilí mnoha zúčastněných stran. Vývojáři technologií musí zajistit transparentnost a spravedlnost ve svých algoritmech, společnosti musí uznat a řešit omezení těchto nástrojů a tvůrci politik musí prosazovat předpisy, které chrání před diskriminačními praktikami. 

Rušivý dopad

Dlouhodobý dopad bodování zranitelných osob, zejména prostřednictvím systémů, jako je hodnocení kreditů a algoritmické najímání zaměstnanců, může významně ovlivnit sociální mobilitu a ekonomické rozdíly. Úvěrové skóre, které je nezbytné pro stanovení finanční důvěryhodnosti, často znevýhodňuje lidi z nižšího socioekonomického prostředí. Postupem času se tak udržuje cyklus, kdy znevýhodnění lidé čelí dalším problémům v přístupu k základním finančním službám.

Dopad zkreslených bodovacích systémů může vést k širšímu sociálnímu vyloučení, které ovlivňuje bydlení, zaměstnanost a přístup k základním službám. Lidé s nižším skóre nebo lidé nespravedlivě ohodnoceni neobjektivními algoritmy mohou mít potíže se zajištěním bydlení nebo zaměstnání, což posiluje stávající sociální nerovnosti. Tento scénář podtrhuje potřebu spravedlivějších skórovacích systémů, které berou v úvahu širší kontext života jednotlivce spíše než se spoléhat pouze na úzké datové body.

Společnosti, zejména ty ve finančním a náborovém sektoru, mohou nechtěně přispět k sociální stratifikaci tím, že se budou spoléhat na tyto zaujaté systémy. Vlády mezitím čelí výzvě zajistit, aby regulace držely krok s technologickým pokrokem na ochranu zranitelného obyvatelstva. Musí podporovat transparentnost a odpovědnost v systémech bodování nebo riskovat, že občané ztratí důvěru ve vládní instituce a programy.

Důsledky bodování zranitelných osob

Širší důsledky bodování zranitelných osob mohou zahrnovat: 

• Vylepšené modely kreditního bodování zahrnující alternativní data, což vede k lepšímu přístupu k finančním produktům pro historicky zaostalé komunity.
• Vlády zavádějící přísnější předpisy týkající se náborových nástrojů založených na umělé inteligenci a zajišťují spravedlivější postupy zaměstnávání napříč odvětvími.
• Větší povědomí veřejnosti a obhajoba zaujaté umělé inteligence, což vede k transparentnějšímu a odpovědnějšímu technologickému nasazení.
• Společnosti revidují své náborové strategie, potenciálně snižují nevědomé předsudky a podporují rozmanitost na pracovišti.
• Rozvoj nových odvětví a pracovních rolí zaměřených na etickou AI a audit algoritmů, přispívající k diverzifikaci trhu práce.
• Zvýšené investice do výzkumu umělé inteligence s cílem řešit předpojatost a spravedlivost a podporovat technologický pokrok, který je přínosem pro širší spektrum společnosti.

Otázky k zamyšlení

• Jak by mohla integrace rozmanitějších datových sad do algoritmů umělé inteligence přetvořit naše chápání společenské spravedlnosti a rovnosti?
• Jak mohou jednotlivci aktivně přispívat nebo ovlivňovat rozvoj etických postupů umělé inteligence ve svém každodenním životě a na pracovišti?