Gobernemos los algoritmos (para que no nos gobiernen ellos)

14 junio 2019 | Categorías: General, Opinión | |

Desarmar los mercados y desarmar los algoritmos. ¿Llega a alguien el mensaje que emitimos?
‘En lugar de estar en la plaza pública, decir lo que piensas y luego dejar que la gente venga, te escuche y tenga esa experiencia compartida de lo que es tu narrativa, estás susurrando en los oídos de todos y cada uno de los votantes. Y puedes susurrar una cosa a uno y otra diferente a otro.
Los sistemas de inteligencia artificial siempre serán producto de los sesgos, la heurística y los puntos ciegos de los programadores. Abrir un debate sobre qué valores queremos grabar en nuestros sistemas para que la humanidad florezca es responsabilidad de todos.’

Sara Degli-Esposti. Investigadora del Centro de Ciencias Humanas y Sociales (CCHS – CSIC)
publico

Desde 2018 el debate sobre los sesgos y efectos perversos de los algoritmos cobra cada día mayor importancia. Fue entonces cuando salió a la luz el caso de la empresa británica Cambridge Analytica, que utilizó datos privados obtenidos de Facebook para intentar influir en las elecciones. Esto nos hizo reflexionar sobre los riesgos de aplicar algoritmos personalizados que explotan las características psicológicas del individuo con fines políticos.

En palabras de Chris Wylie, el exempleado de la empresa que destapó el caso:

“En lugar de estar en la plaza pública, decir lo que piensas y luego dejar que la gente venga, te escuche y tenga esa experiencia compartida de lo que es tu narrativa, estás susurrando en los oídos de todos y cada uno de los votantes. Y puedes susurrar una cosa a uno y otra diferente a otro”.

Esta experiencia, generalizada pero no compartida, es llamada filter bubble o echo chamber (burbuja de filtro o cámara de eco, en español). El término evidencia cómo las mismas tecnologías que nos conectan también nos aíslan en burbujas informativas que refuerzan determinadas opiniones y nos hacen cada vez más vulnerables a la manipulación.

El caso de Cambridge Analytica forma parte de un conjunto de intentos de manipulación masiva de la opinión pública a través de ingeniería social, que Facebook denomina Information Operation (Operación Información). Es decir, acciones emprendidas por actores organizados (gobiernos u organismos no estatales) para distorsionar los sentimientos políticos de la población, al fin de lograr algún resultado estratégico y geopolítico específico.

Capitalismo de vigilancia

La psicóloga social Shoshana Zuboff, en su libro The age of surveillance capitalism (La era del capitalismo de vigilancia), nos habla de forma más articulada de algo que ya intuíamos: que la manipulación de opiniones y comportamientos es parte integrante del capitalismo basado en la vigilancia digital.

En este contexto, el dato, sobre todo el de carácter personal, juega un papel clave por dos razones. La primera es que forma parte de la base de la economía digital, el modelo de desarrollo económico más prometedor que tenemos. La segunda, que su análisis permite orientar el comportamiento colectivo, cada vez a mayor escala y de forma más rápida.

Por desgracia, el requisito básico de cada sistema informático que sea capaz de escalar conlleva la amplificación exponencial del riesgo de un posible fallo. La matemática Cathy O’Neil hablaba en 2017 de armas matemáticas de destrucción masiva (Weapons of Math Destruction) para enfatizar la escala, el daño potencial y la opacidad de los sistemas de toma de decisión basados en algoritmos de aprendizaje automático (machine learning).

El profesor de Derecho y experto en inteligencia artificial Frank Pasquale habla del problema de introducir mecanismos de rendición de cuentas (que buscan la equidad y la identificación de responsabilidades) en los procesos automatizados, en lugar de tratar esos procesos como una caja negra. Así, se esconden tras los derechos propietarios de las empresas privadas que los han desarrollado.

Solon Barocas, que investiga las cuestiones éticas y políticas de las inteligencias artificiales, hablaba en 2013 de la “gobernanza de los algoritmos” y de la necesidad de cuestionar estos artefactos y analizar sus efectos desde una perspectiva legal y de políticas públicas.

El congreso FAT*, cuya tercera edición se celebrará en Barcelona en enero de 2020, se ha convertido en el encuentro de referencia para los que quieren abordar cuestiones de transparencia, justicia y rendición de cuentas de los sistemas automatizados.

Europa vs. EE UU

En Europa, el artículo 22 del Reglamento General de Protección de Datos (RGPD) nos obliga a garantizar que haya supervisión humana y derecho de apelación de las decisiones tomadas por sistemas automáticos y de perfilado (profiling).

En EE UU, fallos como la incapacidad de algoritmos, entrenados con bases de datos con una sobrerrepresentación de fotos de personas blancas, para identificar a personas de color, también motivan la voluntad de abrir y auditar estos sistemas.

Estos casos, junto a otros más inquietantes en el ámbito jurídico y policial, han sido tomados como ejemplos de la falta de sensibilidad entre los programadores sobre las cuestiones raciales y de género. Así lo argumentan Sarah Myers West, Meredith Whittaker y Kate Crawford en el libro blanco Discriminating Systems: Gender, Race, and Power in AI (Sistemas discriminatorios: género, raza y poder en las IA).

La publicación está en línea con otros autores como Andrew Selbst, que investiga los efectos legales de los cambios tecnológicos. Pretende llamar la atención sobre la necesidad de contextualizar cualquier discurso sobre desarrollo tecnológico y analizarlo como sistema tecnosocial, como ya hacen los estudios de ciencia, tecnología y sociedad.

La automatización de procesos de decisión conlleva un gran desafío técnico, legal, de gestión corporativa y moral. Esto ocurre en todas las áreas, que van desde la detección de noticias falsas y fraudes hasta el diagnóstico médico y la encarcelación de sospechosos. Por ello, es necesaria la creación de un espacio de dialogo multidisciplinar.

Los sistemas de inteligencia artificial siempre serán producto de los sesgos, la heurística y los puntos ciegos de los programadores . Abrir un debate sobre qué valores queremos grabar en nuestros sistemas para que la humanidad florezca es responsabilidad de todos.

Este artículo fue publicado originalmente en The Conversation

ATTAC España no se identifica necesariamente con los contenidos publicados, excepto cuando son firmados por la propia organización.

Protege tu agua

Síguenos

Sigue nuestro feed Síguenos en Facebook Síguenos en Twitter telegram

Economía para la ciudadanía

Libros recomendados:

A la calle sin miedo

 


 

Pensiones

Campañas

Blogosfera ATTAC

Consejo científico

Vicenç Navarro
Vicenç Navarro
  • No post
  • Juan H. Vigueras
    La Europa Opaca de las FinanzasJuan H. Vigueras
    Alberto Garzon
    Pijus EconomicusAlberto Garzon
  • No post
  • Gustavo Duch
    PALABRE-ANDO. Porque contar es otra forma de caminarGustavo Duch
    Julio C. Gambina
    Notas y artículos de análisis sobre la actualidad político-económica.Julio C. Gambina
    Carmen Castro
    Constructora de otros dos mundosCarmen Castro
    Maria Pazos
    Feminismo IgualdadMaria Pazos

    Comité de apoyo

    Otros blogueros

    Antonio Fuertes
    Res pública globalAntonio Fuertes
    Carlos Sanchez Mato
    Economía para críticos e indignados Carlos Sanchez Mato
    Carlos Martinez
    Portuario en ExcedenciaCarlos Martinez
  • No post
  • Chema Tante
    La casa de mi tíaChema Tante

    Aquí hablamos de...

    Archivo