Kwetsbare mensen scoren: wanneer technologie zich tegen gemeenschappen keert

• Auteur:
• auteursnaam

  Quantumrun-prognose
• 14 februari 2024

Samenvatting inzicht

De steeds grotere rol van kunstmatige intelligentie (AI) in sectoren als de werkgelegenheid en de gezondheidszorg zou kwetsbare gemeenschappen kunnen blootstellen aan vooringenomenheid en onethische scoringspraktijken. De toenemende afhankelijkheid van AI op kritieke gebieden onderstreept de behoefte aan diverse gegevens en strenge regelgeving om discriminatie te voorkomen. Deze trend benadrukt een groeiende vraag naar transparantie, eerlijkheid in AI-toepassingen en een verschuiving in de publieke en overheidsaanpak van technologiebeheer.

Context van kwetsbare mensen scoren

De afgelopen jaren wordt AI steeds vaker gebruikt in verschillende sectoren, met name op het gebied van werkgelegenheid, gezondheidszorg en politiehandhaving. In 2020 integreerde meer dan de helft van de rekruteringsmanagers in de VS algoritmische software en AI-tools bij de werving, een trend die blijft groeien. De algoritmen die deze platforms en systemen aandrijven, maken gebruik van verschillende gegevenstypen, waaronder expliciete informatie uit profielen, impliciete gegevens afgeleid van gebruikersacties en gedragsanalyses. Dit complexe samenspel van data en algoritmische besluitvorming brengt echter het risico van vooringenomenheid met zich mee. Vrouwen geven bijvoorbeeld vaak hun vaardigheden te weinig weer op cv's, en specifiek gendergerelateerd taalgebruik kan van invloed zijn op de manier waarop een algoritme de geschiktheid van een kandidaat evalueert. 

Als de gegevens die worden gebruikt om deze algoritmen te trainen niet divers zijn in de gezondheidszorg, kan dit leiden tot een verkeerde diagnose of ongepaste behandelaanbevelingen, vooral voor ondervertegenwoordigde groepen. Een ander punt van zorg is privacy en gegevensbeveiliging, aangezien gezondheidszorggegevens uiterst gevoelig zijn. Bij de politie wordt AI in verschillende vormen gebruikt, zoals voorspellende politie-algoritmen, gezichtsherkenningstechnologie en bewakingssystemen. Verschillende onderzoeken hebben aangetoond dat gekleurde mensen vaak ten onrechte worden geïdentificeerd door deze gezichtsherkenningssystemen.

Het regelgevingslandschap evolueert om deze uitdagingen aan te pakken. Wetgevende inspanningen, zoals de Algorithmic Accountability Act van 2022, zijn erop gericht algoritmische vooroordelen te verminderen door van bedrijven te eisen dat zij impactbeoordelingen van AI-systemen uitvoeren op cruciale besluitvormingsgebieden. Het aanpakken van het probleem van vooringenomenheid in AI-gestuurde wervingsprocessen vereist echter gezamenlijke inspanningen van meerdere belanghebbenden. Technologieontwikkelaars moeten zorgen voor transparantie en eerlijkheid in hun algoritmen, bedrijven moeten de beperkingen van deze tools erkennen en aanpakken, en beleidsmakers moeten regelgeving afdwingen die bescherming biedt tegen discriminerende praktijken. 

Disruptieve impact

De langetermijnimpact van het scoren van kwetsbare mensen, voornamelijk via systemen als kredietscore en algoritmische aanwerving, kan de sociale mobiliteit en economische ongelijkheid aanzienlijk beïnvloeden. Kredietscores, essentieel voor het bepalen van de financiële geloofwaardigheid, zijn vaak in het nadeel van mensen met een lagere sociaal-economische achtergrond. In de loop van de tijd bestendigt dit een cyclus waarin kansarme mensen met verdere problemen worden geconfronteerd bij het verkrijgen van toegang tot essentiële financiële diensten.

De impact van bevooroordeelde scoresystemen kan leiden tot bredere sociale uitsluiting, wat gevolgen heeft voor huisvesting, werkgelegenheid en toegang tot essentiële diensten. Mensen met lagere scores of mensen die onterecht worden beoordeeld door bevooroordeelde algoritmen, kunnen het moeilijk vinden om huisvesting of banen veilig te stellen, waardoor de bestaande sociale ongelijkheid wordt versterkt. Dit scenario onderstreept de behoefte aan rechtvaardiger scoresystemen die rekening houden met de bredere context van iemands leven, in plaats van uitsluitend te vertrouwen op beperkte datapunten.

Bedrijven, vooral die in de financiële sector en de rekruteringssector, kunnen onbedoeld bijdragen aan sociale stratificatie door op deze bevooroordeelde systemen te vertrouwen. Ondertussen staan ​​overheden voor de uitdaging om ervoor te zorgen dat de regelgeving gelijke tred houdt met de technologische vooruitgang om kwetsbare bevolkingsgroepen te beschermen. Ze moeten de transparantie en verantwoording in de scoresystemen bevorderen, anders riskeren ze dat burgers het vertrouwen in overheidsinstellingen en -programma’s verliezen.

Implicaties van het scoren van kwetsbare mensen

Bredere implicaties van het scoren van kwetsbare mensen kunnen zijn: 

• Verbeterde kredietscoremodellen die alternatieve gegevens integreren, wat leidt tot verbeterde toegang tot financiële producten voor historisch achtergestelde gemeenschappen.
• Overheden implementeren strengere regels voor op AI gebaseerde wervingsinstrumenten, waardoor eerlijkere arbeidspraktijken in alle sectoren worden gegarandeerd.
• Groter publiek bewustzijn en pleitbezorging tegen bevooroordeelde AI, resulterend in transparantere en verantwoordelijkere technologische toepassingen.
• Bedrijven herzien hun wervingsstrategieën, waardoor mogelijk onbewuste vooroordelen worden verminderd en diversiteit op de werkplek wordt bevorderd.
• Ontwikkeling van nieuwe industrieën en functies gericht op ethische AI ​​en algoritme-audit, wat bijdraagt ​​aan de diversificatie van de arbeidsmarkt.
• Meer investeringen in AI-onderzoek om vooringenomenheid en eerlijkheid aan te pakken, waardoor technologische vooruitgang wordt gestimuleerd die een breder spectrum van de samenleving ten goede komt.

Vragen om te overwegen

• Hoe zou de integratie van meer diverse datasets in AI-algoritmen ons begrip van maatschappelijke rechtvaardigheid en gelijkheid kunnen hervormen?
• Hoe kunnen individuen actief bijdragen aan of invloed uitoefenen op de ontwikkeling van ethische AI-praktijken in hun dagelijks leven en op hun werkplek?