«F*** The Algorithm!»: Los peligros de la «Dictadura de los Algoritmos»
Esta columna fue publicada originalmente en DiarioConstitucional el 18.08.2020
Gran expectación ha causado la marcha realizada por miles de estudiantes británicos quienes al grito de “F*** the algorithm!” («¡Al diablo con el algoritmo!») han salido a las calles a protestar contra un algoritmo al que acusan de haber reducido sus resultados académicos.[i] Esto porque, como consecuencia de la pandemia, el Gobierno británico canceló los exámenes finales de secundaria (“A-level y GCSE”, equivalentes a la PSU chilena) e implementó un sistema que, a través de un algoritmo, realizaría predicciones en base a las notas registradas por los profesores. ¿Cuál fue el resultado? Alrededor de 300.000 estudiantes denuncian que el algoritmo bajó esas notas en el 40% de los casos, y esto ocasionaría que muchos de ellos perdieran su acceso a algunas universidades importantes.
En ese sentido, los resultados muestran que era menos probable que este algoritmo bajase las notas de los estudiantes que formaban parte de escuelas privadas de pago. Los afectados indican que según las primeras cifras uno de cada 10 estudiantes procedentes de “entornos desfavorecidos” y que fueron evaluados por sus profesores con una nota “C” vieron reducida su calificación final en (al menos) un grado. Lo que ocurrió solo en un 8% de los casos en relación con estudiantes que formaban parte de escuelas privadas de pago, es decir, de entornos «no desfavorecidos.»
¿Qué salió mal?
Mucho se ha hablado en los últimos años de los grandes beneficios que reportan los algoritmos, ellos están cada vez más presentes en muchas actividades cotidianas, en la medida en que, además de facilitar un sinnúmero de tareas, “toman decisiones” o sirven de instrumento para ello. Así que, en las últimas décadas, la Inteligencia Artificial, los datos y los algoritmos, han adquirido un rol cada vez más protagónico. Sin embargo, diversas investigaciones a nivel mundial ya han advertido que el uso de algoritmos para puntuar y predecir conlleva el riesgo de que ciertos sesgos y desigualdades que existen en una determinada sociedad se exacerben y se afiancen.[ii] De ahí que se ha considerado necesario contar con mecanismos jurídicos que, además de garantizar la intervención humana, fomenten la transparencia y eviten la falta de justicia en la toma de decisiones algorítmicas automatizadas. Lo anterior con el propósito de evitar una eventual “dictadura de los datos”[iii] o dictadura de los algoritmos -añadimos-, esto es, para evitar que ellos gobiernen o se utilicen en formas que puedan hacer tanto daño como bien.
Transparencia algorítmica
En la actualidad se tiende a favorecer y promover los procesos de digitalización y automatización para abrir paso a la transformación digital a través del uso de tecnologías de la información y la comunicación con fines de eficiencia, eficacia, economía, imparcialidad y simplificación, entre otros. Esto ocurre tanto en el ámbito público como en el privado. Sin embargo, debe reflexionarse sobre los límites y condiciones con los que tales transformaciones deben ser abordadas para corregir los desequilibrios. Y, en definitiva, debe reflexionarse también sobre cuáles garantías deben ofrecerse a los ciudadanos cuando la toma de decisiones sobre asuntos que les importan o pueden afectar sus derechos son encomendadas a (o apoyadas en) algoritmos.
Una de las que comienza a tomar cada vez más fuerza es la llamada “transparencia algorítmica” que, entendida como principio (o para algunos como un derecho) implica, entre otras cosas, explicar a las personas cómo se usan sus datos por los algoritmos, y cuáles son los pasos para la toma de las decisiones automatizadas, de manera que pueda sustentarse su racionalidad, proporcionalidad y coherencia.
En ese sentido, la regulación europea sobre la protección de datos personales, en particular, prevé que en los procedimientos completamente automatizados el titular debe proporcionar “información significativa sobre la lógica aplicada, así como la importancia y las consecuencias previstas de dicho tratamiento para el interesado” (artículo 14.2.g Reglamento General de Protección de Datos “GDPR”). Asimismo, el artículo 15 del GDPR establece el derecho a conocer y recibir información relativa a la existencia de cualquier tratamiento automatizado de toma de decisiones. Lo que se traduce en una especie de derecho de acceso al algoritmo que, por ejemplo, la justicia italiana ha entendido como un derecho a “descifrar la lógica” de este.[iv]
Sin embargo, todavía quedan muchos aspectos por delinear en relación con este principio, sobre todo cuando entra en colisión con ciertos derechos (como el de propiedad intelectual), así como precisar los límites y restricciones al acceso, para poder determinar si efectivamente es suficiente para la protección de los ciudadanos frente al uso de sistemas de inteligencia artificial. Así que, aunque en el caso indicado finalmente se decidió anular los resultados y permitir que los alumnos mantengan las calificaciones que habían puesto originalmente sus profesores, esta histórica marcha vino a poner de relieve una compleja situación para la que muchas legislaciones -incluida la chilena- todavía no ofrecen una respuesta suficiente y adecuada: ¿Son la transparencia y la explicabilidad mecanismos suficientes para garantizar justicia en el uso de algoritmos? El debate apenas comienza. (Santiago, 18 agosto 2020)
[i] Moore, S. (2020). “The British government has created a hostile environment for young people”, en: https://www.theguardian.com/commentisfree/2020/aug/17/the-british-government-has-created-a-hostile-environment-for-young-people. [ii] Lambrecht, A. & T., C., “Apparent Algorithmic Bias and Algorithmic Learning”, 2020, SSRN: https://ssrn.com/abstract=3570076 or http://dx.doi.org/10.2139/ssrn.3570076; Access Now. (2018). Human Rights in the age of artificial intelligence, en: https://www.accessnow.org/cms/assets/uploads/2018/11/AI-and-Human-Rights.pdf. [iii] Mayer-Schönberger, V. & Cukier, K. (2013). “The Dictatorship of Data. MIT Technology Review”, en: