AI TRiSM: Garantizar que la IA siga siendo ética

• Escrito por:
• Nombre del autor

  Previsión Quantumrun
• 20 de Octubre de 2023

Resumen de información

En 2022, la firma de investigación Gartner presentó AI TRiSM, que significa AI Trust, Risk, and Security Management, para garantizar la gobernanza y la confiabilidad de los modelos de IA. El marco consta de cinco pilares: explicabilidad, operaciones del modelo, detección de anomalías en los datos, resistencia a ataques adversarios y protección de datos. El informe destaca que una mala gestión de los riesgos de la IA puede provocar pérdidas importantes y violaciones de seguridad. La implementación de AI TRiSM requiere un equipo multifuncional de legal, cumplimiento, TI y análisis de datos. El marco apunta a construir una cultura de "IA responsable", centrándose en preocupaciones éticas y legales, y es probable que influya en las tendencias de contratación, las regulaciones gubernamentales y las consideraciones éticas en IA.

Contexto AI TRiSM

Según Gartner, AI TriSM tiene cinco pilares: explicabilidad, operaciones modelo (ModelOps), detección de anomalías en los datos, resistencia a ataques adversarios y protección de datos. Según las proyecciones de Gartner, las organizaciones que implementen estos pilares serán testigos de un aumento del 50 por ciento en el rendimiento de su modelo de IA en relación con la adopción, los objetivos comerciales y la aceptación de los usuarios para 2026. Además, las máquinas impulsadas por IA representarán el 20 por ciento de la fuerza laboral mundial. y contribuirá con el 40 por ciento de la productividad económica general para 2028.

Los hallazgos de la encuesta de Gartner sugieren que muchas organizaciones han implementado cientos o miles de modelos de IA que los ejecutivos de TI no pueden comprender ni interpretar. Las organizaciones que no gestionan adecuadamente los riesgos relacionados con la IA son mucho más propensas a encontrar resultados desfavorables e infracciones. Es posible que los modelos no funcionen según lo previsto, lo que provocaría violaciones de seguridad y privacidad y daños financieros, individuales y de reputación. La implementación inexacta de la IA también puede hacer que las organizaciones tomen decisiones comerciales equivocadas.

Para implementar con éxito AI TRiSM, se requiere un equipo multifuncional de personal legal, de cumplimiento, de seguridad, de TI y de análisis de datos. Establecer un equipo o grupo de trabajo dedicado con representación adecuada de cada área comercial involucrada en el proyecto de IA también producirá resultados óptimos. También es esencial garantizar que cada miembro del equipo comprenda claramente sus funciones y responsabilidades, así como las metas y objetivos de la iniciativa AI TRiSM.

Impacto disruptivo

Para que la IA sea segura, Gartner recomienda varios pasos vitales. En primer lugar, las organizaciones deben comprender los riesgos potenciales asociados con la IA y cómo mitigarlos. Este esfuerzo requiere una evaluación de riesgos integral que considere no solo la tecnología en sí sino también su impacto en las personas, los procesos y el medio ambiente.

En segundo lugar, las organizaciones deben invertir en la gobernanza de la IA, que incluye políticas, procedimientos y controles para gestionar los riesgos de la IA. Esta estrategia incluye garantizar que los sistemas de IA sean transparentes, explicables, responsables y cumplan con las leyes y regulaciones pertinentes. Además, el seguimiento y la auditoría continuos de los modelos de IA son cruciales para identificar y mitigar cualquier riesgo potencial que pueda surgir con el tiempo. Por último, las organizaciones deben desarrollar una cultura de seguridad de la IA, promoviendo la concientización, la educación y la capacitación entre los empleados y las partes interesadas. Estos pasos incluyen capacitación sobre el uso ético de la IA, los riesgos asociados con la IA y cómo identificar y reportar problemas o inquietudes. 

Es probable que estos esfuerzos resulten en que más empresas creen sus departamentos de IA responsable. Este marco de gobernanza emergente aborda los obstáculos legales y éticos relacionados con la IA al documentar cómo las organizaciones los abordan. El marco y sus iniciativas asociadas quieren eliminar la ambigüedad para evitar consecuencias negativas no deseadas. Los principios de un marco de IA responsable se centran en diseñar, desarrollar y utilizar la IA de manera que beneficie a los empleados, proporcione valor a los clientes e impacte positivamente en la sociedad.

Implicaciones de la IA TRiSM

Las implicaciones más amplias de AI TRiSM pueden incluir: 

• A medida que AI TRiSM se vuelve cada vez más importante, las empresas necesitarán contratar más trabajadores capacitados y con conocimientos en este campo, como analistas de seguridad de IA, gestores de riesgos y especialistas en ética.
• Nuevas consideraciones éticas y morales, como la necesidad de transparencia, equidad y responsabilidad en el uso de sistemas de IA.
• Innovaciones aumentadas por IA que son seguras, confiables y fiables.
• Mayor presión para que la regulación gubernamental proteja a las personas y organizaciones de los riesgos asociados con los sistemas de IA.
• Un mayor enfoque en garantizar que los sistemas de IA no estén sesgados contra grupos o individuos particulares.
• Nuevas oportunidades para quienes tienen habilidades de IA y potencialmente desplazan a quienes no las tienen.
• Mayor consumo de energía y capacidad de almacenamiento de datos para datos de entrenamiento constantemente actualizados.
• Más empresas están siendo multadas por no adoptar estándares globales de IA responsable.

Preguntas a considerar

• Si trabaja en IA, ¿cómo está entrenando su empresa sus algoritmos para que sean éticos?
• ¿Cuáles son los desafíos de construir sistemas de IA responsables?