# How Much Information? Effects of Transparency on Trust in an Algorithmic Interface **René F. Kizilcec. Conference paper, 2016.** ## Resumen Experimento sobre el efecto de la transparencia en la confianza (trust) de los usuarios. El experimento encontró que la expectativa del usuario tiene gran influencia en la evaluación de la confianza. Cuando las expectativas del usuarios no se cumplen, algo de transparencia aumenta la confianza, pero más transparencia la erosiona. El experimento: un experimento publicado en 2016 evaluó la respuesta de 103 estudiantes de un curso de Coursera a tres niveles de transparencia (bajo, medio y alto). Cuando los estudiantes recibían una nota inferior a la esperada, el nivel alto de transparencia alta afectó la confianza en el sistema de calificación, a pesar de que el promedio de las calificaciones dadas por el sistema eran cercanas a las calificaciones dadas por profesores. ## Notas El documento señala que la evidencia disponible sobre cómo la transparencia afecta la confianza es variada. Unos estudios han encontrado efectos positivos, otros no encontraron efectos. - Algunos estudios han mostrado que mayores explicaciones pueden promover actitudes positivas hacia los sistemas (menos ideas equivocadas -misconceptions-, mayor confianza en las recomendaciones del sistema -confidence- y mayor engagement), pero no necesariamente confianza. - Los sistemas de aprendizaje en línea (MOOC) basado en la evaluación de pares (peer assesment) permiten evaluar los efectos de la transparencia en la confianza. Generalmente, el promedio de las calificaciones de pares son cercanas a las calificaciones que dan los profesores. Sin embargo, un grupo de programadores (fuente: Tuned Models of Peer Assesment in MOOCs, Chris Piech y otros) lograron mejorar la precisión en un 30% a través de un algoritmo. No obstante, no tenían claridad sobre cómo comunicar esto a los estudiantes. - El experimento: - Se evaluó a 103 personas registradas en un curso ofrecido por Coursera. Al azar, cada persona fue asignada a uno de tres niveles de transparencia: - **Transparencia baja:** les decía "Your computed grade is X, which is the grade you received from your peers". - **Transparencia media:** les decía "su nota es X, que se basa en las calificaciones recibidas por sus pares, ajustada para sesgos y precisión. La precisión y sesgos se estiman usando un procedimiento estadístico que emplea un algoritmos de maximización de expectativas con un previo para las calificaciones de la clase. Esto ajusta su nota en caso de calificadores laxos/estrictos y la habilidad del calificador". - **Transparencia alta:** además de la explicación del proceso de calificación les daba la calificación de los pares y la nota final después del algoritmo. - Expectations violation = self grade > peer grade - Hallazgos (ver imagen a continuación): - En general, la confianza fue menor cuando recibieron una nota menor a la esperada, independientemente del nivel de transparencia. - En el nivel de transparencia media, el nivel de confianza fue similar independientemente de la expectativa. - Si no se satisfacen las expectativas, el mayor nivel de transparencia es el que menos confianza hay. Complementar la información sobre el proceso con información sobre el resultado socavó la el efecto positivo de la transparencia sobre el proceso. - El documento ofrece dos posibles explicaciones: - La información adicional es confusa y redujo la comprensión en vez de abrir la "caja negra". - La información adicional quitó la atención de la justicia del proceso y la centró en los resultados, reforzando la injusticia percibida. ![[How_Much_Information_Levels_of_Transparency.png|500]] - El documento sugiere que los ingenieros y desarrolladores podrían considerar crear interfaces adaptativas que den más o menos información, dependiendo de si las expectativas se cumplieron o no. --- ### Relacionado - [[Lu_et_al_Good_Explanation_for_Algorithmic_Transparency]]