Streetflow

La caja negra de la IA

El siguiente texto es un extracto del árticulo "Ethics of Artificial Intelligence and Robotics." del profesor  de la universida de Stanford Vincent C. Müller.

La opacidad o caja negra y el sesgo son temas centrales en lo que ahora a veces se llama "ética de los datos" o "ética de la bigdata". Los sistemas de inteligencia artificial diseñados, para el soporte automatizado de decisiones, y el análisis predictivo plantean preocupaciones importantes sobre la falta del debido proceso, responsabilidad, participación de la comunidad y auditoría. Forman parte de una estructura de poder en la que estamos creando procesos de toma de decisiones que limitan y limitan, las oportunidades para la participación humana. Al mismo tiempo, a menudo será imposible para la persona afectada saber cómo el sistema llegó a este resultado. Es decir, el sistema es "opaco" para esa persona. Si el sistema implica aprendizaje automático, generalmente será opaco incluso para el experto, que no sabrá cómo se identificó un patrón en particular, o incluso cuál es el patrón. El sesgo en los sistemas de decisión y los conjuntos de datos se ve exacerbado por esta opacidad. Entonces, al menos en los casos en que existe el deseo de eliminar el sesgo, el análisis de la opacidad y el sesgo van de la mano, y la solución tiene que abordar ambos problemas juntos.

Muchos sistemas de IA dependen de técnicas de aprendizaje automático en redes neuronales, que extraerán patrones de un conjunto de datos dado, con o sin soluciones "correctas" proporcionadas sobre las cuales alimentarse; es decir, supervisado, semi-supervisado o sin supervisión. Con estas técnicas, el "aprendizaje" captura patrones en los datos y estos se etiquetan de una manera que parece útil para la decisión que toma el sistema, mientras que el programador no sabe realmente qué patrones en los datos que el sistema ha utilizado. De hecho, los programas están evolucionando, por lo que cuando ingresan nuevos datos o se reciben nuevos comentarios (“esto fue correcto”, “esto fue incorrecto”), los patrones utilizados por el sistema de aprendizaje cambian. Lo que esto significa es que el resultado no es transparente para el usuario o los programadores. Además, la calidad del programa depende en gran medida de la calidad de los datos proporcionados, siguiendo el viejo lema "basura entra, basura sale". Entonces, si los datos ya implicaban un sesgo (por ejemplo, datos policiales sobre el color de la piel de los sospechosos), entonces el programa reproducirá ese sesgo. Hay propuestas para una descripción estándar de los conjuntos de datos en una "hoja de datos" que haría más factible la identificación de dicho sesgo (Gebru et al. 2018). También hay literatura reciente significativa sobre las limitaciones de los sistemas de aprendizaje automático que son esencialmente filtros de datos sofisticados (Marcus 2018 ). Algunos han argumentado que los problemas éticos de hoy son el resultado de "atajos" técnicos que la inteligencia artificial ha tomado.

Hay varias actividades técnicas que tienen como objetivo la "IA explicable", comenzando con (Van Lent, Fisher y Mancuso 1999; Lomas et al. 2012) y, más recientemente, un programa DARPA (Gunning 2017). En términos más generales, la demanda de:

Un mecanismo para dilucidar y articular las estructuras de poder, los prejuicios y las influencias que ejercen los artefactos computacionales en la sociedad.

a veces se denomina "informe de responsabilidad algorítmica". Esto no significa que esperemos que una IA "explique su razonamiento"; hacerlo requeriría una autonomía moral mucho más seria que la que atribuimos actualmente a los sistemas de inteligencia artificial.

El reconocido ex secretario de estado de los Estados Unidos, Henry Kissinger señaló que existe un problema fundamental para la toma de decisiones democráticas si confiamos en un sistema que supuestamente es superior a los humanos, pero que no puede explicar sus decisiones. Él dice que podríamos haber "generado una tecnología potencialmente dominante en busca de una filosofía guía" (Kissinger 2018). Danaher (2016b) llama a este problema la "algocracia" o democracia de los algoritmos. De manera similar, Cave (2019) enfatiza que necesitamos un movimiento social más amplio hacia una toma de decisiones más "democrática" para evitar que la IA sea una fuerza que conduzca a un sistema de supresión impenetrable al estilo Kafka en la administración pública y en otros lugares. El ángulo político de esta discusión ha sido enfatizado por O'Neil en su influyente libro Weapons of Math Destruction (2016), y por Yeung y Lodge (2019).
En la UE, algunos de estos problemas se han tenido en cuenta con el (Reglamento (UE) 2016/679). Que prevé que los consumidores, cuando se enfrenten a una decisión basada en el procesamiento de datos, tendrán un "derecho de explicación" legal. ¿Qué tan lejos llega esto y en qué medida se puede hacer cumplir?. Zerilli y col. (2019) argumentan que puede haber un doble estándar aquí, donde exigimos un alto nivel de explicación para las decisiones basadas en máquinas a pesar de que los humanos a veces no alcanzan ese estándar por sí mismos.

¿Sesgo en el sistema?

Los sistemas automatizados de soporte de decisiones de IA y el "análisis predictivo" operan en los datos y producen una decisión como "salida". Este resultado puede variar de lo relativamente trivial a lo altamente significativo: "este restaurante coincide con sus preferencias", "el paciente en esta radiografía ha completado el crecimiento óseo", "se rechazó la solicitud de tarjeta de crédito", "se donará un órgano a otro paciente "," se niega la fianza "o" objetivo identificado y comprometido ". El análisis de datos a menudo se usa en “análisis predictivo” en finanzas, atención médica y otros campos, para prever desarrollos futuros, ya que la predicción es más fácil, también se convertirá en un producto más barato. Un uso de la predicción es en la “vigilancia predictiva”, que muchos temen podría conducir a una erosión de las libertades públicas porque puede quitarle el poder a las personas cuyo comportamiento se predice. Sin embargo, parece que muchas de las preocupaciones sobre la policía dependen de escenarios futuristas en los que la policía prevé y castiga las acciones planificadas, en lugar de esperar hasta que se haya cometido un delito (como en la película de 2002 "Minority Report" basada en la distopía de Phillip Dick). Una preocupación es que estos sistemas podrían perpetuar el sesgo que ya estaba en los datos utilizados para configurar el sistema, por ejemplo, aumentando las patrullas policiales en un área y descubriendo más delitos en esa área. Las técnicas reales de “vigilancia predictiva” o “vigilancia policial dirigida por inteligencia” se refieren principalmente a la cuestión de dónde y cuándo, se necesitarán más las fuerzas policiales. Además, los oficiales de policía pueden recibir más datos, ofreciéndoles más control y facilitando mejores decisiones, en el software de soporte de flujo de trabajo (por ejemplo, "ArcGIS"). Si esto es problemático depende del nivel apropiado de confianza, en la calidad técnica de estos sistemas y, de la evaluación de los objetivos del trabajo policial mismo. Quizás el título de un artículo reciente apunta en la dirección correcta aquí: "La ética de la inteligencia artificial en la vigilancia predictiva: de modelos de amenaza a una ética de la atención" (Asaro 2019).

El sesgo generalmente surge cuando se hacen juicios injustos, porque el individuo que hace el juicio está influenciado por una característica que en realidad es irrelevante para el asunto en cuestión, generalmente una preconcepción discriminatoria sobre los miembros de un grupo. Entonces, una forma de sesgo es una característica cognitiva aprendida de una persona, a menudo no se hace explícita. La persona en cuestión puede no ser consciente de tener ese sesgo, incluso puede oponerse de manera honesta y explícita a un sesgo que tiene.
Además del fenómeno social del sesgo aprendido, el sistema cognitivo humano es generalmente propenso a tener varios tipos de "sesgos cognitivos", por ejemplo, el "sesgo de confirmación": los humanos tienden a interpretar la información como una confirmación de lo que ya creen. A menudo se dice que esta segunda forma de sesgo impide el desempeño en el juicio racional, aunque al menos algunos sesgos cognitivos generan una ventaja evolutiva, por ejemplo, el uso económico de los recursos para el juicio intuitivo. Existe la duda de si los sistemas de IA podrían o deberían tener ese sesgo cognitivo.

Una tercera forma de sesgo está presente en los datos cuando exhibe un error sistemático, por ejemplo, "sesgo estadístico". Estrictamente, cualquier conjunto de datos dado solo será imparcial para un solo tipo de problema, por lo que la mera creación de un conjunto de datos implica el peligro de que pueda usarse para un tipo diferente de problema y luego resultar sesgado para ese tipo. El aprendizaje automático sobre la base de dichos datos no solo dejaría de reconocer el sesgo, sino que codificaría y automatizaría el "sesgo histórico". Tal sesgo histórico se descubrió en un sistema automatizado de selección de reclutamiento en Amazon (descontinuado a principios de 2017) que discriminaba a las mujeres, presumiblemente porque la compañía tenía un historial de discriminación contra las mujeres en el proceso de contratación. El "Perfil de gestión correccional de delincuentes para sanciones alternativas" (COMPAS), un sistema para predecir si un acusado volvería a delinquir, Se descubrió que era tan precisos (65.2% de precisión) como un grupo de humanos aleatorios (Dressel y Farid 2018) y que producía más falsos positivos y menos falsos negativos para los acusados ​​negros. El problema con tales sistemas es, por lo tanto, el sesgo más que los humanos depositan una confianza excesiva en los sistemas.
Hay esfuerzos técnicos significativos para detectar y eliminar el sesgo de los sistemas de IA, pero es justo decir que se encuentran en etapas tempranas. Parece que las soluciones tecnológicas tienen sus límites, ya que necesitan una noción matemática de equidad, lo cual es difícil de encontrar, como es una noción formal de "raza".
 

Bibliografía:

Gebru, Timnit, Jamie Morgenstern, Briana Vecchione, Jennifer Wortman Vaughan, Hanna Wallach, Hal Daumeé III, and Kate Crawford, 2018, “Datasheets for Datasets”, unpublished manuscript, arxiv:1803.09010, 23 March 2018.

Marcus, Gary, 2018, “Deep Learning: A Critical Appraisal”, unpublished manuscript, 2 January 2018, arxiv:1801.00631.

Gunning, David, 2017, “Explainable Artificial Intelligence (XAI)”, Defense Advanced Research Projects Agency (DARPA) Program.

Zerilli, John, Alistair Knott, James Maclaurin, and Colin Gavaghan, 2019, “Transparency in Algorithmic and Human Decision-Making: Is There a Double Standard?”, Philosophy & Technology, 32(4): 661–683. doi:10.1007/s13347-018-0330-6.

Asaro, Peter M., 2019, “AI Ethics in Predictive Policing: From Models of Threat to an Ethics of Care”, IEEE Technology and Society Magazine, 38(2): 40–53. doi:10.1109/MTS.2019.2915154.

Dressel, Julia and Hany Farid, 2018, “The Accuracy, Fairness, and Limits of Predicting Recidivism”, Science Advances, 4(1): eaao5580. doi:10.1126/sciadv.aao5580.