Puntuación de personas vulnerables: cuando la tecnología se vuelve contra las comunidades

• Escrito por:
• Nombre del autor

  Previsión Quantumrun
• Febrero 14, 2024

Resumen de información

El creciente papel de la inteligencia artificial (IA) en sectores como el empleo y la atención sanitaria podría exponer a las comunidades vulnerables a prejuicios y prácticas de puntuación poco éticas. La creciente dependencia de la IA en áreas críticas subraya la necesidad de contar con datos diversos y regulaciones estrictas para prevenir la discriminación. Esta tendencia pone de relieve una creciente demanda de transparencia y equidad en las aplicaciones de IA y un cambio en los enfoques públicos y gubernamentales de la gobernanza tecnológica.

Puntuación del contexto de las personas vulnerables

En los últimos años, la IA se ha utilizado cada vez más en diversos sectores, en particular en el empleo, la atención sanitaria y el control policial. En 2020, más de la mitad de los gerentes de contratación en EE. UU. incorporaban software algorítmico y herramientas de inteligencia artificial en la contratación, una tendencia que ha seguido creciendo. Los algoritmos que impulsan estas plataformas y sistemas aprovechan varios tipos de datos, incluida información explícita de perfiles, datos implícitos inferidos de las acciones de los usuarios y análisis de comportamiento. Sin embargo, esta compleja interacción de datos y toma de decisiones algorítmica introduce el riesgo de sesgo. Por ejemplo, las mujeres a menudo no representan sus habilidades en los currículums, y el lenguaje específico de género puede influir en la forma en que un algoritmo evalúa la idoneidad de un candidato. 

En el sector sanitario, si los datos utilizados para entrenar estos algoritmos no son diversos, puede dar lugar a diagnósticos erróneos o recomendaciones de tratamiento inadecuadas, especialmente para grupos subrepresentados. Otra preocupación es la privacidad y la seguridad de los datos, ya que los datos sanitarios son extremadamente sensibles. En el ámbito policial, la IA se utiliza de diversas formas, como algoritmos policiales predictivos, tecnología de reconocimiento facial y sistemas de vigilancia. Varios estudios han destacado que las personas de color suelen ser identificadas erróneamente mediante estos sistemas de reconocimiento facial.

El panorama regulatorio está evolucionando para abordar estos desafíos. Los esfuerzos legislativos, como la Ley de Responsabilidad Algorítmica de 2022, tienen como objetivo mitigar el sesgo algorítmico al exigir a las empresas que realicen evaluaciones de impacto de los sistemas de inteligencia artificial en áreas críticas de toma de decisiones. Sin embargo, abordar la cuestión del sesgo en los procesos de contratación impulsados ​​por la IA requiere esfuerzos concertados de múltiples partes interesadas. Los desarrolladores de tecnología deben garantizar la transparencia y la equidad en sus algoritmos, las empresas deben reconocer y abordar las limitaciones de estas herramientas y los formuladores de políticas deben hacer cumplir regulaciones que protejan contra prácticas discriminatorias. 

Impacto disruptivo

El impacto a largo plazo de calificar a las personas vulnerables, principalmente a través de sistemas como la calificación crediticia y la contratación algorítmica, puede influir significativamente en la movilidad social y la disparidad económica. Los puntajes crediticios, esenciales para determinar la credibilidad financiera, a menudo ponen en desventaja a las personas de entornos socioeconómicos más bajos. Con el tiempo, esto perpetúa un ciclo en el que las personas desfavorecidas enfrentan mayores desafíos para acceder a servicios financieros esenciales.

El impacto de los sistemas de puntuación sesgados puede conducir a una exclusión social más amplia, afectando la vivienda, el empleo y el acceso a servicios esenciales. Las personas con puntuaciones más bajas o aquellas evaluadas injustamente mediante algoritmos sesgados pueden tener dificultades para conseguir vivienda o empleo, lo que refuerza las desigualdades sociales existentes. Este escenario subraya la necesidad de sistemas de puntuación más equitativos que consideren el contexto más amplio de la vida de un individuo en lugar de depender únicamente de puntos de datos limitados.

Las empresas, especialmente las de los sectores financiero y de contratación, pueden contribuir inadvertidamente a la estratificación social al depender de estos sistemas sesgados. Mientras tanto, los gobiernos enfrentan el desafío de garantizar que las regulaciones sigan el ritmo de los avances tecnológicos para proteger a las poblaciones vulnerables. Necesitan promover la transparencia y la rendición de cuentas en los sistemas de puntuación o arriesgarse a que los ciudadanos pierdan la confianza en las instituciones y programas gubernamentales.

Implicaciones de calificar a las personas vulnerables

Las implicaciones más amplias de calificar a las personas vulnerables pueden incluir: 

• Modelos de calificación crediticia mejorados que incorporan datos alternativos, lo que conduce a un mejor acceso a productos financieros para comunidades históricamente desatendidas.
• Los gobiernos implementan regulaciones más estrictas sobre herramientas de contratación basadas en inteligencia artificial, garantizando prácticas laborales más justas en todas las industrias.
• Mayor conciencia pública y defensa contra la IA sesgada, lo que resulta en implementaciones tecnológicas más transparentes y responsables.
• Las empresas revisan sus estrategias de contratación, lo que potencialmente reduce los prejuicios inconscientes y promueve la diversidad en el lugar de trabajo.
• Desarrollo de nuevas industrias y roles laborales enfocados en IA ética y auditoría de algoritmos, contribuyendo a la diversificación del mercado laboral.
• Mayor inversión en investigación de IA para abordar los prejuicios y la equidad, impulsando avances tecnológicos que beneficien a un espectro más amplio de la sociedad.

Preguntas a considerar

• ¿Cómo podría la integración de conjuntos de datos más diversos en algoritmos de IA remodelar nuestra comprensión de la justicia y la igualdad social?
• ¿Cómo pueden las personas contribuir activamente o influir en el desarrollo de prácticas éticas de IA en su vida cotidiana y en sus lugares de trabajo?