Algoritmen rjochtsje minsken: As masines wurde keard tsjin minderheden

• Skriuwer:
• Namme fan auteur

  Quantumrun Foresight
• Febrewaris 8, 2023

D'r is gjin twifel dat systemen foar gesichtsherkenning goed brûkt wurde kinne, lykas helpe by it finen fan ûntbrekkende bern en it opspoaren fan misbrûk, as se goed traind wurde. Yn guon gefallen mei hege profyl wurde de algoritmen dy't dizze systemen foar gesichtsherkenning oandreaun wurde trainearre mei gegevens fan kwetsbere populaasjes sûnder har tastimming.

Algoritmen rjochte op minsken kontekst

Ofbyldingsherkenningssystemen, lykas technology foar gesichtsherkenning (FRT), binne útdaagjend om te ûntwikkeljen, om't de algoritmen dy't har driuwe, grutte datasets nedich binne om krekte resultaten te krijen. Bygelyks, de Multiple Encounter Dataset omfettet twa wiidweidige fotokolleksjes: dyjingen dy't gjin misdieden hawwe begien en ferstoarne persoanen. De dataset befettet in grutter part fan bylden mei minsken út minderheidsgroepen as represintatyf is foar de algemiene befolking. As wet hanthavening dizze gegevens brûkt om algoritmen op te trenen, sil it wierskynlik biased resultaten meitsje. 

In protte ôfbyldings wurde brûkt sûnder de tastimming fan 'e ôfbylde persoan, benammen bern. It programma Child Exploitation Image Analytics is sûnt 2016 yn gebrûk troch ûntwikkelders fan technology foar gesichtsherkenning om har datasets te testen. Dit programma befettet foto's fan berntsjes troch adolesinten, wêrfan de measte slachtoffers binne fan twang, misbrûk en seksuele oantaasting, lykas sein yn 'e dokumintaasje fan it projekt.

Neffens in 2019-stúdzje fan 'e nijsside Slate, fertrout it programma foar testen foar gesichtsherkenning ferifikaasje fan 'e FS sterk op bylden fan bern dy't slachtoffers west hawwe fan bernepornografy, Amerikaanske visa-oanfregers (benammen dy út Meksiko), en minsken dy't earder arresteare binne en ferstoar doe. Guon ôfbyldings kamen út in stúdzje fan 'e ôfdieling Homeland Security (DHS) wêryn DHS-meiwurkers foto's fan reguliere reizgers foar ûndersyksdoelen makken. Ek de minsken waans foto's foaral brûkt wurde yn dit programma binne fertocht fan kriminele aktiviteit.

Disruptive ynfloed

Sina hat ek FRT-algoritmen brûkt om minderheden te rjochtsjen, benammen de Uyghur moslimmienskip. Yn 2021 rapportearre BBC dat in kamerasysteem dat AI en gesichtsherkenning brûkt om emoasjes te detektearjen, waard testen op Uyghurs yn Xinjiang. Tafersjoch is in deistige aktiviteit foar boargers dy't yn de provinsje wenje. It gebiet is ek it thús fan "opliedingsintra" (neamd detinsjekampen mei hege feiligens troch minskerjochtengroepen), wêr't nei skatting ien miljoen minsken fêsthâlden binne.

As d'r gjin goede regearingsregeling is, kin elkenien brûkt wurde as testûnderwerp foar de sektor foar gesichtsherkenning. De meast kwetsbere mominten fan minsken kinne wurde fêstlein en dan fierder eksploitearre troch de regearingssektoren dy't it publyk moatte beskermje. Derneist wurde guon datasets frijjûn oan it publyk, wêrtroch partikuliere boargers as bedriuwen se kinne downloade, opslaan en brûke. 

It is ûnmooglik om te fertellen hoefolle kommersjele systemen op dizze gegevens fertrouwe, mar it is gewoane praktyk dat in protte akademyske projekten dogge. Bias ûnder boarnegegevenssets makket problemen as software moat wurde "traind" foar har spesifike taak (bygelyks om gesichten te identifisearjen) of "test" foar prestaasjes. Fanwegen ferskate eveneminten wêr't minsken waarden diskriminearre fanwegen de kleur fan har hûd of oare skaaimerken, binne d'r in protte oproppen west foar bettere regeljouwing oangeande hoe't dizze masine learen (ML) systemen wurde oplaat. Neffens Analytics Insight hawwe allinich Belgje en Lúksemboarch FRT folslein ferbean yn har gebieten.

Gefolgen fan algoritmen dy't rjochte binne op minsken

Bredere gefolgen fan algoritmen dy't rjochte binne op minsken kinne omfetsje: 

• Minskerjochtengroepen lobbyje har respektive regearingen om it gebrûk fan FRT te beheinen, ynklusyf tagong ta de bylden.
• Oerheden wurkje gear om in wrâldwide standert te meitsjen dy't dúdlik soe definiearje hoe't FRT-ark sille wurde oplaat en brûkt.
• Tanommen rjochtsaken tsjin bedriuwen dy't yllegale trainingsgegevens brûke fan minderheidsgroepen.
• Guon lannen ferlingje har ymplemintaasje fan FRT-algoritmen om har respektive populaasjes te kontrolearjen en te kontrolearjen.
• Mear biased AI-ark dy't spesifike etnyske groepen, seksuele oriïntaasjes en religieuze affiliaasjes rjochtsje. 

Fragen om reaksjes te jaan

• Wat binne guon manieren wêrop algoritmen wurde brûkt om spesifike groepen yn jo mienskip te rjochtsjen, as ien?
• Hoe kin AI oars brûkt wurde om kwetsbere populaasjes te ûnderdrukken of te eksploitearjen?