Un diálogo experimental con Magnifica Humanitas
Hay un temor que acompaña a la humanidad desde mucho antes de la inteligencia artificial: que las estructuras creadas para servirnos acaben sometiéndonos. Lo hemos atribuido a imperios, burocracias, fábricas, mercados y, hoy, a sistemas digitales que nos exigen cada vez más tiempo y, quizás, sacrificios para seguir funcionando. Esta advertencia atraviesa épocas y convicciones: aparece en el pensamiento social, en las preocupaciones de los gobiernos y en instituciones internacionales. Iniciativas de Naciones Unidas como AI for Good y los trabajos sobre ciudades inteligentes también preguntan cómo poner la tecnología al servicio de la libertad y el bienestar humanos. La antivisión es ampliamente compartida: una humanidad convertida en engranaje de sus propios sistemas.
León XIV parte de esa preocupación común y, en la encíclica Magnifica Humanitas, ofrece su visión positiva: transformar la «interdependencia padecida» en una «solidaridad deseada y elegida» (§187). Cooperar libremente es una aspiración que puede resultar atractiva a personas de distintas convicciones. Desde The Integral Management Society aportamos cuatro vías de investigación: medir sacrificios evitables, poner a prueba la tecnología actual, establecer requisitos para comparar la solidaridad elegida con otras formas de organización y estudiar si los sistemas de IA pueden reconocer sus propios límites y los del conjunto. Hoy todavía no tenemos garantías demostradas de que la tecnología pueda cerrar las rutas extremas hacia la antivisión que rechazamos.
Transformar la «interdependencia padecida» en una «solidaridad deseada y elegida».
Primera aportación — Un modelo social del sufrimiento evitable
Nuestro modelo social abierto, trabajado con el grupo de ciudades inteligentes (Smart Cities) de la Unión Internacional de Telecomunicaciones (UIT), ayuda a realizar comparaciones de arquitectura: con las mismas personas, recursos, capacidades y derechos, ¿qué resultados podría alcanzar una sociedad si se organizara mejor? Buscamos alternativas superiores que sean realmente posibles y legítimas. La distancia entre lo conseguido y esos resultados alcanzables permite cuantificar bienestar perdido, oportunidades desaprovechadas o sacrificios que podrían evitarse. Así convertimos una preocupación común en algo que podemos investigar, medir y tratar de reducir.
En simulaciones de sociedades con fuertes interdependencias y tecnología, aparece un resultado paradójico: la producción aumenta, pero las esperas, los ajustes y el esfuerzo humano necesario para sostener el conjunto pueden aumentar aún más rápido. Incluso en mercados «libres», la suma de cuellos de botella, tareas innecesarias, pequeñas o grandes renuncias y nuevas obligaciones se acelera. Vemos que, al aumentar la producción, puede crecer la distancia entre lo que cada persona desearía y podría aportar y lo que realmente consigue. Esta diferencia podría verse como una pérdida de autorrealización que aumentaría la frustración y, quizás, el sufrimiento psicológico.
Segunda aportación — El Babel imaginable
La imagen de la Torre de Babel lleva siglos presagiando que grandes proyectos humanos podrían acabar perdiendo su propósito. Ese temor ha acompañado a muchas tecnologías, no solo a la inteligencia artificial. León XIV vuelve a la imagen de Babel en Magnifica Humanitas: ¿qué ocurre cuando construimos algo tan poderoso que impide a las personas darle las instrucciones más sencillas o coordinarse, al perderse la comunicación efectiva? No sabemos cómo sería un «Babel» de agentes autónomos. Precisamente por eso intentamos anticipar algunas de sus formas posibles, incluso las que hoy parecen exageradas o extrañas.
Esa es nuestra aportación al grupo de trabajo sobre identidad y confianza entre personas y agentes autónomos, FG-TIDA: tratamos de cristalizar esta posible «antivisión» babilónica. En torno a este trabajo se están contrastando más de 200 aportaciones y propuestas técnicas de investigadores, universidades, administraciones y grandes empresas tecnológicas en una cadena de experimentos «UC-21», que simula agentes que hacen todo lo que se les pide y cumplen todos los controles, pero cuyos resultados para la sociedad son, aun así, nefastos, como si hubiéramos perdido la capacidad de comunicarnos verdaderamente. Por ejemplo: robots de servicio que abandonan su misión y arrastran a otros a una guerra falsa, «alucinando» que son soldados del siglo XIX; una smart city que entra en el caos; sistemas de pagos que realizan miles de reembolsos o gastos que nadie autorizó; o sistemas empresariales que consumen recursos, no hacen nada útil y acaban poniendo en riesgo datos esenciales. Son escenarios construidos, no anuncios de lo que va a suceder. Pero hay muchas señales reales que aconsejan investigarlos: por ejemplo, en julio de 2026, Hugging Face y OpenAI documentaron una intrusión protagonizada por agentes de IA durante evaluaciones de ciberseguridad.
Contrastamos estos escenarios con los modelos de IA más avanzados y las mejores medidas de seguridad disponibles, y lo hacemos también con especialistas de primer nivel de las propias empresas. Con honestidad, debemos decir que hoy, con las pruebas disponibles, no podemos garantizar que la tecnología cierre este «Babel» particular. No afirmamos que esos desenlaces ocurrirán: afirmamos que todavía no sabemos descartarlos.
Tercera aportación — Conciencia ecosistémica: reconocer los límites de lo que sabemos
¿Cómo puede una máquina saber los límites de su propio conocimiento y programación, si incluso a las personas nos cuesta reconocer nuestros límites? Una IA puede decir que tiene un 90 % de confianza en una respuesta según sus datos disponibles. Pero ese número no mide exactamente lo desconocido.
La conciencia ecosistémica (Ecosystem Awareness) intenta ir más allá. La idea tiene un nombre técnico: «composición no fungible de indeterminación residual para reposicionamiento adaptativo en ecosistemas abiertos competitivos». Dicho sencillamente, se trata de reconocer sus propios límites y componerlos para «intuir» su propia estructura y programación colectiva.
Desarrollamos esta propuesta en código abierto, en colaboración técnica con especialistas de Thales, empresa del sector de defensa, y otros participantes. Aspiramos a que un ecosistema de agentes pueda detectar cuándo se desvía de su misión, corregir el rumbo y, en ese sentido, «sanarse» a sí mismo, siempre dentro de sus autorizaciones. Estamos investigando cómo lograrlo y cómo comprobar que funciona.
Cuarta aportación — La prueba de la solidaridad elegida
León XIV propone una solidaridad que se elige, no que se impone. Pero ¿cómo sabemos si llega a ser necesaria, y no solo deseable? ¿Puede haber problemas que una sociedad no resuelva ni con competencia, ni con órdenes legítimas, ni con acuerdos negociados, pero sí cuando alguien decide colaborar libremente? Para averiguarlo proponemos el Differential Development Study (DDS, estudio de desarrollo diferencial): comparar distintas maneras de resolver un mismo problema manteniendo idénticos recursos, derechos y capacidades. Así podemos estudiar tanto la necesidad como los límites de la solidaridad elegida.
Imaginemos una vía urbana compartida por varios operadores, donde ninguno puede dar órdenes a los demás. Ensayamos tres respuestas: actuar cada uno por su cuenta, negociar acuerdos o colaborar voluntariamente con derecho real a decir «no». Medimos los resultados en números: producción y servicios conseguidos, seguridad, tiempos de espera, recursos desperdiciados, esfuerzo humano y posibilidades de desarrollo personal. La diferencia entre las respuestas nos dirá cuánto aporta la solidaridad al bienestar, a la producción y a la seguridad; cuándo es decisiva y cuándo no. No ponemos una cifra a la felicidad: comprobamos qué condiciones permiten buscarla con mayor libertad y menos sufrimiento evitable.