# Good Explanation for Algorithmic Transparency **Autores: Joy Lu, Dokyun “DK” Lee, Taewan Kim & David Danks (2020)** ## Resumen El texto trata sobre cómo explicar algoritmos a personas sin conocimiento técnico. Para ello, se realizó un experimento con 1200 personas a las que se les explica la decisión de un algoritmo a la hora conceder o no un crédito bancario. ## Notas - La Directiva Europea de Protección de Datos (General Data Protecion Regulation - GDPR) incluye el "derecho a recibir explicación". - Considerando 71: _El interesado debe tener derecho a no ser objeto de una decisión, que puede incluir una medida, que evalúe aspectos personales relativos a él, y que se base únicamente en el tratamiento automatizado y produzca efectos jurídicos en él o le afecte significativamente de modo similar, como la denegación automática de una solicitud de crédito en línea o los servicios de contratación en red en los que no medie intervención humana alguna. Este tipo de tratamiento incluye la elaboración de perfiles consistente en cualquier forma de tratamiento automatizado de los datos personales que evalúe aspectos personales relativos a una persona física, en particular para analizar o predecir aspectos relacionados con el rendimiento en el trabajo, la situación económica, la salud, las preferencias o intereses personales, la fiabilidad o el comportamiento, la situación o los movimientos del interesado, en la medida en que produzca efectos jurídicos en él o le afecte significativamente de modo similar. Sin embargo, se deben permitir las decisiones basadas en tal tratamiento, incluida la elaboración de perfiles, si lo autoriza expresamente el Derecho de la Unión o de los Estados miembros aplicable al responsable del tratamiento, incluso con fines de control y prevención del fraude y la evasión fiscal, realizada de conformidad con las reglamentaciones, normas y recomendaciones de las instituciones de la Unión o de los órganos de supervisión nacionales y para garantizar la seguridad y la fiabilidad de un servicio prestado por el responsable del tratamiento, o necesario para la conclusión o ejecución de un contrato entre el interesado y un responsable del tratamiento, o en los casos en los que el interesado haya dado su consentimiento explícito. **En cualquier caso, dicho tratamiento debe estar sujeto a las garantías apropiadas, entre las que se deben incluir la información específica al interesado y el derecho a obtener intervención humana, a expresar su punto de vista, a recibir una explicación de la decisión tomada después de tal evaluación y a impugnar la decisión.** Tal medida no debe afectar a un menor. A fin de garantizar un tratamiento leal y transparente respecto del interesado, teniendo en cuenta las circunstancias y contexto específicos en los que se tratan los datos personales, el responsable del tratamiento debe utilizar procedimientos matemáticos o estadísticos adecuados para la elaboración de perfiles, aplicar medidas técnicas y organizativas apropiadas para garantizar, en particular, que se corrigen los factores que introducen inexactitudes en los datos personales y se reduce al máximo el riesgo de error, asegurar los datos personales de forma que se tengan en cuenta los posibles riesgos para los intereses y derechos del interesado y se impidan, entre otras cosas, efectos discriminatorios en las personas físicas por motivos de raza u origen étnico, opiniones políticas, religión o creencias, afiliación sindical, condición genética o estado de salud u orientación sexual, o que den lugar a medidas que produzcan tal efecto. Las decisiones automatizadas y la elaboración de perfiles sobre la base de categorías particulares de datos personales únicamente deben permitirse en condiciones específicas._ - ¿Qué constituye una buena explicación? - Desde la filosofía de la ciencia, las teorías de la "explicación" se dividen en dos: - **Teorías tradicionales (no pragmáticas):** señalan que hay una buena explicación cuando se da una respuesta correcta a una pregunta "¿por qué?". La audiencia destinataria es irrelevante para evaluar la calidad de la explicación. - **Teoría pragmáticas:** sostienen que una buena explicación debe dar una respuesta a un pregunta "¿por qué?" que además permita que el receptor de la respuesta avance en sus metas o intereses. Estas teoría implican pluralismo explicativo. - Ejemplo: para explicar la "diversificación de inversiones" a una persona común puede ser suficiente el adagio de "no poder todos los huevos en una misma canasta". Sin embargo, para un administrador de portafolio de inversiones se requiere una respuesta más técnica. - Este paper se centra, entonces, en las formas en las que las explicaciones ayudan (o no) a las personas a avanzar en sus intereses y metas. - El paper desarrolla un marco para las "buenas explicaciones" a partir de la definición de objetivos, modos de explicación y las dimensiones que podrían moderar la eficacia de las explicaciones. - **Objetivos.** Los autores proponen que por lo menos tres objetivos pueden ser relevantes para evaluar una explicación en un contextos de negocios ("business setting"): - **Objetivos epistémicos:** contribuciones significativas al conicimiento del receptor. El receptor avanza en su conocimiento. - **Objetivos éticos:** relacionados con la reparación en caso de errores ("right to redress"). En estos casos suelen requerirse explicaciones que restauren la confianza en la compañía. "Es importante entender si los usuarios finales perciben el resultado como justo, que puede ser mejorado por vía de explicaciones apropiadas". - **Objetivos del consumidor:** se refiere a la voluntad de los consumidores de adoptar o usar los algoritmos como ayuda para la toma de decisiones o aceptar/estar satisfecho con el resultado del algoritmo. - **Modos de explicación:** estudios han mostrado que la forma como se presenta las opciones de elección influye en las decisiones de los usuarios. De manera similar, la forma de presentación de una explicación de un algoritmo puede influir en la respuesta de los receptores. Distintas formas de presentación se probaron en el experimento (ver más adelante). - En 2016, René F. Kizilcec demostró que una cantidad pequeña de explicación del funcionamiento de un algoritmo de calificación aumenta la confianza, pero mucha transparencia la afecta. - **Escenarios:** las características del propio resultado podrían moderar el impacto de la explicación. Una misma secuencia de palabras podría constituir una explicación útil para un grupo de resultados y no para otros. - Investigadores han mostrado que las personas demostramos mayor sensibilidad frente a las pérdidas que frente a las ganancias. - Así mismo, la habilidad de una explicación de algoritmos de permitir el avance de los objetivos de las personas pueden depender de si el resultado es benéfico o dañino, común o inusual, de alto o bajo impacto, etc. Por ejemplo, una buena explicación para un resultado negativo podría necesitar enfocarse en los factores del caso concreto que llevaron a la decisión y en qué puede cambiar el usuario para mejorar los resultados en el futuro. Por su parte, una buena explicación para un resultado positivo puede enforcarse en los factores generales (no individuales). - **Dimensiones humanas:** los atributos de los receptores de la explicación pueden moderar su efectividad. Por ejemplo, estudios muestran que los expertos prefieren profundidad sobre amplitud en relación con los novatos. - **El experimento** - Tomaron siete características usadas para decidir si conceder créditos (por ej.: edad, duración del crédito, créditos previamente aprobados), entrenaron un árbol de decisiones y una red neuronal para tomar decisiones. 1205 participantes fueron asignados al azar en uno de dos respuestas (aprobado o rechazado) y en uno de seis escenarios: - Ninguna explicación. - Explicación verbal: les contaron cuáles son las tres características más importantes usadas por el algoritmo para decidir. - Árbol de decisiones: les mostraron un árbol de decisiones sencillo (tres pasos). - Red neural global: les dijeron a los participantes que la decisión fue tomada usando un "algoritmo de una sofisticada red neural" y les mostraron un diagrama con los promedios globales que representaban la importancia de cada característisca entre los cosumidores (ver abajo). - Red neural local: les mostraro n a los aprticipantes un diagrama similar, pero mostrando cómo las características impactaron la decisión en el caso específicoinformación sobre las características y el caso concreto (ver abajo). - Red neural global y local: les mostraron a los participantes ambos diagramas (ver abajo). - Les pidieron a los participantes calificar en una escala de 7 puntos su comprensión del algoritmo, así como su intuitividad, justicia (fairness), satisfacción y habilidad de impactar en el resultado. ![[Good_Explanation_SHAP_Values.png]] - **Resultados** - El resultado determina la evaluación: los participantes con resultado positivo (aprobado) calificaron más alta la explicación para todos los criterios evaluados. - En escenario "aprobado" hubo un efecto negativo de la explicación dada a través del árbol de decisiones en muchas de las variables estudiadas (entendimiento, intuitividad, justicia, satisfacción). Este resultado es contraintuitivo porque se esperaría que una explicación mejoraría el entendimiento si el resultado es positivo (aprobado). Los autores sugieren que tal vez la explicación fue percibida como demasiado simple, ya que la explicación con la red neural no tuvo este efecto, a pesar de ser explícitamente señalada como "compleja". - En escenario "rechazado" hay una interacción entre la explicación de red neural global y local. Cada explicación por separado no mejora la calificación de intuitividad y justicia, pero sí la mejora si se presentan juntas. ## Notas adicionales - En alguna parte los autores dicen que no conocen estudios empíricos rigurosos que expliquen cómo las explicaciones de los sistemas de inteligencia artificial y machine learning han ayudado a los intereses y objetivos de los consumidores. - El documento habla del concepto de "Inteligencia artificial explicable" (Explainable AI - XAI). De Wikipedia: refiere a métodos y técnicas en la aplicación de tecnología de inteligencia artificial (AI) tal que los resultados de la solución pueden ser entendidos por humanos. Contrasta con el concepto de la "caja negra" en aprendizaje automático (del inglés, machine learning) donde incluso sus diseñadores no pueden explicar por qué el IA llegados en una decisión concreta. XAI es una implementación del derecho social a la explicación. --- ### Relacionado - *Explanation in artificial intelligence: Insight from social sciences* de Tim Miller (2018). Mencionado en el texto. Miller explica que los científicos de la computación deberían tomar lecciones de las humanidades y las ciencias sociales para entender cómo las personas perciben y aceptan las explicaciones. - [[Kizilcec_How_Much_Information]].