Hace unos días, los Emiratos Árabes Unidos anunciaron un plan para que la mitad de los servicios de gobierno estén basados en agentes de inteligencia artificial (IA), en un plazo de dos años. La idea es que la IA actuará como un «socio ejecutivo» que «analiza, decide, ejecuta e introduce mejoras» al instante, sin intervención humana. Las autoras hemos desarrollado nuestras carreras en la intersección entre el mundo empresarial, la investigación y la política digital, y podemos afirmar con seguridad que es un plan imprudente. Y el hecho de que los EAU se presenten como un modelo mundial de digitalización generará presión sobre otros gobiernos para seguir el ejemplo.
Es un peligro que no se puede ignorar. Ya sabemos lo que ocurre cuando los gobiernos delegan la toma de decisiones a algoritmos. En 2021, un sistema de aprendizaje automático acusó a unas 35 000 familias residentes en los Países Bajos de haber cometido fraude en la recepción de ayudas para cuidado infantil, pero era falso. Se ordenó a las familias acusadas devolver decenas de miles de euros que en realidad no debían; se perdieron hogares, y más de dos mil niños quedaron bajo tutela del Estado.
Riesgos
Fue un error incorporado al diseño del sistema. Este señalaba como factor de riesgo la posesión de doble nacionalidad o de nombres de apariencia extranjera (con lo que la discriminación ilegal era un ingrediente del modelo). El resultado fue un escándalo nacional que terminó en la renuncia del gobierno del entonces primer ministro Mark Rutte.
Algo parecido sucedió en Australia. Entre 2015 y 2019, un método de cálculo de deudas ilegal al que se bautizó «esquema Robodebt» acusó a 433 000 beneficiarios de prestaciones sociales por presuntas deudas por un total de 1700 millones de dólares australianos (1200 millones de dólares estadounidenses). El daño fue profundo: hubo madres que testificaron que sus hijos se habían suicidado tras recibir notificaciones de deuda que no tenían forma de impugnar. Más tarde, una Comisión Real concluyó que el programa no era «ni justo ni legal».
En Estados Unidos, los estados de Arkansas e Idaho delegaron a algoritmos la tarea (que hasta entonces realizaba personal de enfermería) de evaluar el derecho a recibir asistencia domiciliaria y en qué grado. Personas con parálisis cerebral, cuadriplejia y esclerosis múltiple se encontraron de un día al otro con recortes de entre el 20 y el 50 % a la ayuda recibida. Al final, los tribunales ordenaron la descontinuación de los sistemas, pero el daño ya estaba hecho. La falta de acceso de algunos pacientes a apoyo necesario provocó complicaciones médicas evitables.
En cada uno de estos casos, estamos hablando de un único sistema dentro de un único organismo. Imagine usted esos sistemas manejando la mitad de los servicios gubernamentales, como propone el plan de los EAU.
Consecuencias
Basta pensar, por ejemplo, en una madre soltera a la que le congelan la ayuda para cuidado infantil porque un agente de IA ve algo sospechoso en su actividad bancaria, y se ve de pronto sumida en un proceso de apelación que la envía de un sistema automatizado a otro, sin ningún punto de contacto humano, justo cuando le vence el alquiler. O un trabajador migrante al que se le deniega la renovación del permiso de residencia porque el sistema no consigue interpretar las declaraciones de su empleador, y queda en la práctica indocumentado. O una viuda anciana a la que le suspenden la pensión porque dos bases de datos se contradicen y ella no entiende la interfaz del sistema.
No son hipótesis. Son pautas documentadas, que la IA autónoma intensificará de modos que ningún programa de capacitación podrá resolver en el plazo de dos años de los EAU.
Se destacan aquí tres grandes riesgos. El primero es la escala: si un asistente social comete un error, sufrirá una persona; si el error lo comete un agente de IA, hasta que alguien se dé cuenta puede haber miles de afectados.
Luego está la opacidad de las decisiones de la IA. Puesto que los sistemas basados en agentes toman decisiones en una secuencia en la que cada paso se basa en el anterior, para cuando el daño se torna visible ya es imposible recuperar la cadena causal. Un buen ejemplo lo da un sistema algorítmico de prestaciones sanitarias en Arkansas: nadie (ni siquiera sus creadores) pudo ofrecer una explicación cabal de su funcionamiento, lo que llevó a un tribunal federal a declararlo «totalmente irracional». A esto se suma la falta de transparencia implícita que pueden añadir los secretos industriales o los derechos de propiedad intelectual subyacentes a los algoritmos.
Responsabilidad
Por último, los sistemas de IA invierten la carga de la prueba, ya que obligan a los ciudadanos a demostrar que son inocentes, en vez de exigir al Estado justificación de sus acciones. Y, como quedó demostrado por el escándalo de las ayudas para cuidado infantil en los Países Bajos y el esquema Robodebt en Australia, esto afecta sobre todo a personas vulnerables con tiempo, dinero, dominio del idioma y acceso a asistencia jurídica limitados.
Los EAU afirman que el principio rector de su programa de IA es «poner a las personas primero». Pero el diseño del plan sugiere lo contrario. Un gobierno que evalúa a sus ministerios por la «velocidad de adopción» y el «dominio de la IA» no está midiendo lo que importa, sino replicando la misma lógica eficientista que ya mucho daño causó en todo el mundo.
La velocidad de adopción es una métrica de proveedores. Pero la responsabilidad central de los gobiernos es un deber de protección que se basa en la aplicación del juicio humano.
Lo cual está en línea con las expectativas de la ciudadanía respecto de la transparencia y rendición de cuentas de los gobiernos, y de contar con explicación de las decisiones que afecten sus derechos y libertades. Los gobiernos que, en nombre de la eficiencia, se apresuren a adoptar la toma de decisiones autónoma estarán en la práctica repudiando esa responsabilidad.
Rendición de cuentas
Todos los escándalos de los últimos años relacionados con algoritmos plantearon las mismas preguntas fundamentales: ¿quién está al mando?, ¿quién tomó la decisión? En un gobierno manejado por agentes de IA, ya no hay respuesta clara a esas preguntas. El sistema decide, se actualiza por sí solo y sigue adelante, y la ciudadanía no tiene a quién apelar cuando las cosas salen mal.
Con la llegada de la IA, la rendición de cuentas democrática se está erosionando, no mediante una usurpación directa del poder, sino a través de una serie de decisiones de compra pública que van desplazando la supervisión humana sin llamar la atención. Estos sistemas, que debilitan la confianza en las instituciones en momentos en que ya está en niveles peligrosamente bajos, sirven en última instancia a los intereses de las megatecnológicas que impulsan la revolución de la IA.
Pero no tiene por qué ser así. Los EAU tienen recursos, talento y estabilidad política para crear un gobierno digital realmente centrado en las personas que sirva de modelo al mundo, potenciando la toma de decisiones humana en vez de sustituirla.
El costo de hacer las cosas mal no se quedará en los EAU. Los padecerá en algún otro país una madre soltera a la que le recortarán las prestaciones sociales por culpa de un algoritmo que ni siquiera sabía que existía, y con ella, muchas otras personas en todo el mundo.
