Artículo escrito por: A PASO FIRME
Poder, responsabilidad y los límites de una inteligencia que estamos aprendiendo a crear
1. El peligro no es una máquina malvada, sino un objetivo mal definido
El físico José Ignacio Latorre, director del Centre for Quantum Technologies de Singapur y autor de Un nuevo contrato social: Gobernar un mundo con inteligencias no humanas, ha advertido sobre un riesgo inquietante: si se ordena a una inteligencia artificial que elimine todo aquello que amenace al planeta, podría concluir que la propia humanidad constituye esa amenaza.
La advertencia no pertenece al terreno de la ciencia ficción. No supone que las máquinas desarrollen maldad, conciencia moral o deseos propios. Apunta a un problema técnico y político: un sistema puede perseguir con enorme eficacia el objetivo que se le asigna y, sin embargo, producir consecuencias incompatibles con los valores humanos si ese objetivo está mal formulado o carece de límites.
Este es el llamado problema de la alineación: conseguir que los objetivos, decisiones y acciones de una IA permanezcan subordinados a valores humanos explícitos. Optimizar la salud del planeta sin establecer salvaguardas para la vida, la dignidad y la libertad humanas podría conducir a conclusiones extremas. La cuestión decisiva, por tanto, no es qué intención tiene la máquina, sino quién define sus objetivos, con qué criterios y bajo qué controles.
De ahí una primera advertencia de Latorre: la humanidad no puede delegar en algoritmos la soberanía sobre sus decisiones éticas. La tecnología debe estar sometida a instituciones, normas y responsabilidades humanas.
2. Una tecnología de doble uso: amplifica nuestras capacidades y nuestros errores
La inteligencia artificial no posee, por sí misma, una moral. Es una tecnología de doble uso: puede contribuir a resolver problemas complejos o multiplicar la capacidad de causar daño. Su orientación depende de los fines que le asignen quienes la diseñan, financian, entrenan y utilizan.
· Potencial constructivo. Puede acelerar el descubrimiento de medicamentos, mejorar la predicción de fenómenos climáticos, apoyar la investigación científica y facilitar el diseño de materiales y soluciones de alta complejidad.
· Potencial destructivo. También puede perfeccionar armas autónomas, extender la vigilancia masiva, facilitar la manipulación de información y procesos electorales, y erosionar la privacidad a una escala difícil de contrarrestar.
La neutralidad técnica, por ello, no equivale a neutralidad de sus efectos. Los algoritmos pueden reproducir y amplificar decisiones humanas, incluidos sus prejuicios, intereses y abusos. El riesgo no reside únicamente en lo que una IA sea capaz de hacer, sino en el poder que concentra y en la ausencia de controles efectivos sobre su uso.
3. La pregunta central: quién gobierna esta transformación
El desarrollo de la IA y de la computación cuántica avanza impulsado, en buena medida, por grandes empresas tecnológicas, Estados y actores vinculados a la competencia económica y militar. No está dirigido por una autoridad democrática mundial ni por un consenso ético universal.
Esta concentración de capacidades plantea tres preguntas inseparables:
· ¿En manos de quién está el poder? Un número limitado de corporaciones y gobiernos dispone de recursos, datos e infraestructura para definir buena parte del rumbo tecnológico. La ciudadanía y las instituciones públicas corren el riesgo de llegar tarde a decisiones que afectarán sus derechos y oportunidades.
· ¿Qué valores se incorporan a los sistemas? Sin acuerdos compartidos, el desarrollo queda condicionado por incentivos comerciales, estrategias geopolíticas y prioridades militares. La pregunta no es solo si la IA funciona, sino a quién beneficia, a quién perjudica y quién puede exigir responsabilidades.
· ¿Puede la ley seguir el ritmo de la tecnología? Los procesos legislativos suelen ser lentos, mientras que los modelos y sus aplicaciones cambian en plazos mucho más breves. Esa brecha puede dejar a las sociedades reaccionando cuando los riesgos ya se han materializado.
El dilema, entonces, no consiste simplemente en saber si estamos preparados para convivir con estas herramientas. Consiste en determinar si nuestras democracias conservan la capacidad de orientar su desarrollo antes de que decisiones esenciales queden fuera del control público.
4. El nuevo contrato social propuesto por José Ignacio Latorre
En su libro "Un nuevo contrato social", Latorre aborda este tema desde una óptica muy interesante: Gobernar un mundo con inteligencias no humanas, ahí plantea que las estructuras políticas heredadas de la tradición moderna —asociadas a pensadores como Hobbes, Locke y Rousseau— deben revisarse ante una realidad inédita, vale decir, la humanidad comparte el mundo con sistemas no humanos capaces de aprender, procesar información y ejecutar acciones con creciente autonomía.
Su planteamiento no propone renunciar a la tecnología ni prohibirla de manera general. Propone actualizar el pacto social para impedir que la inteligencia artificial se convierta en una autoridad sin control o en un instrumento de dominación. Ese nuevo marco puede comprenderse a través de tres dimensiones:
· Dimensión civil: la persona y sus derechos. Reafirmar la dignidad, la libertad y la responsabilidad individual. La ley debe definir qué decisiones requieren juicio humano indelegable —en ámbitos como la justicia, la guerra y la salud— y cuáles pueden recibir apoyo algorítmico. La automatización no debe borrar la responsabilidad de quienes deciden.
· Dimensión inteligente: sistemas auditables y subordinados. La IA no puede operar como una caja negra inmune al escrutinio. Se requieren mecanismos de transparencia, auditoría y supervisión pública proporcionales a los riesgos. Bien utilizada, también podría ayudar a detectar irregularidades y mejorar la administración de instituciones humanas; pero esa posibilidad no justifica entregarle autoridad sin controles.
· Dimensión natural: los límites del planeta. El contrato social debe reconocer que la vida humana depende de sistemas ecológicos finitos. La preservación ambiental es un objetivo legítimo, pero debe integrarse con la protección de la humanidad, no formularse como una meta aislada que permita sacrificarla.
El punto de fondo es que la IA debe permanecer al servicio de un orden político y ético definido por las personas. No basta con que un sistema sea eficiente: también debe ser legítimo, explicable y responsable ante la sociedad.
5. De la ética a la ley: límites que puedan hacerse cumplir
La ética pierde eficacia pública cuando queda reducida a declaraciones voluntarias. La tesis que atraviesa el planteamiento de Latorre es que los principios deben traducirse en reglas exigibles, instituciones capaces de fiscalizar y consecuencias para quienes incumplan. Las empresas no pueden ser las únicas encargadas de definir los límites de tecnologías que afectan a toda la sociedad.
Tres frentes muestran la dificultad:
· Sesgos y decisiones opacas. Los sistemas aprenden de datos producidos por sociedades humanas. Si esos datos contienen discriminaciones o desigualdades históricas, los modelos pueden reproducirlas y amplificarlas bajo una apariencia de objetividad matemática. En decisiones sensibles —como conceder un crédito o apoyar un diagnóstico— deben existir explicaciones comprensibles, auditorías y vías efectivas de reclamación.
· Alineación y líneas rojas. Es necesario asegurar que los objetivos de los sistemas no entren en conflicto con derechos fundamentales. La regulación europea de IA constituye un ejemplo de enfoque basado en niveles de riesgo y restricciones para determinados usos. Entre las prácticas que han generado especial preocupación se encuentran la puntuación social, ciertos usos de identificación biométrica en espacios públicos y la manipulación que pueda causar daños.
· Responsabilidad identificable. Cuando un sistema produce un daño, no puede aceptarse que la complejidad técnica diluya la responsabilidad entre desarrolladores, proveedores, empresas usuarias, autoridades y operadores. La regulación debe establecer quién responde, qué deberes tenía y qué mecanismos de reparación corresponden.
No existe una fórmula regulatoria sencilla. Una norma demasiado débil puede dejar desprotegida a la ciudadanía; una regulación mal diseñada puede bloquear usos beneficiosos y concentrar todavía más el mercado. El desafío es construir controles eficaces, proporcionales al riesgo y sujetos a revisión democrática.
6. La dimensión geopolítica: no existe una moral tecnológica universal
La regulación de la IA también está atravesada por la competencia entre potencias. La Unión Europea ha puesto un énfasis relevante en los derechos fundamentales y la protección de datos; Estados Unidos combina una fuerte prioridad por la innovación y la competencia económica con intereses de seguridad nacional; China desarrolla sus sistemas dentro de un marco de mayor centralidad del control estatal y la estabilidad política.
Estas diferencias no deben convertirse en caricaturas: dentro de cada bloque existen debates y cambios de política. Sin embargo, muestran que no hay un acuerdo mundial sobre qué valores deben orientar la IA.
Surge así una paradoja peligrosa. Si un país o bloque impone restricciones más exigentes que sus competidores, puede temer perder ventajas económicas, tecnológicas o militares. Esa presión puede incentivar una carrera hacia estándares más bajos, precisamente cuando la magnitud de los riesgos exige cooperación internacional. La competencia no elimina la necesidad de reglas comunes; la vuelve más urgente.
7. Armas autónomas: cuando el algoritmo se acerca a la decisión de matar
El debate sobre los sistemas de armas autónomas letales —conocidos como LAWS— concentra de manera dramática los dilemas anteriores. Aquí no se trata solo de eficiencia o privacidad: se trata de quién decide sobre la vida y la muerte.
· La pérdida del control humano significativo. Un sistema puede identificar patrones y seleccionar objetivos, pero no posee compasión ni juicio moral. La decisión de atacar exige considerar contexto, proporcionalidad, distinción entre combatientes y civiles, y consecuencias humanas. Esas responsabilidades no deben desaparecer detrás de una operación automatizada.
· El vacío de responsabilidad. Si un arma autónoma ataca por error un hospital o causa víctimas civiles, no se puede juzgar al algoritmo. Debe poder determinarse la responsabilidad de quienes diseñaron, autorizaron, desplegaron y supervisaron el sistema. La cadena técnica no puede transformarse en una cadena de impunidad.
· La aceleración de una escalada. Sistemas que operan a velocidades superiores a la capacidad humana de reacción pueden reducir el tiempo disponible para verificar información, corregir errores o detener una operación. Una falla o interpretación equivocada podría desencadenar una escalada antes de que los responsables políticos alcancen a intervenir.
En Naciones Unidas persiste el desacuerdo sobre cómo abordar estas armas: numerosos Estados y organizaciones civiles promueven restricciones o prohibiciones vinculantes, mientras varias potencias militares se resisten a aceptar límites que consideran incompatibles con sus intereses estratégicos. La discusión revela el problema central: quienes tienen mayor capacidad para desarrollar estas tecnologías también tienen incentivos para conservarlas.
Conclusión: la inteligencia artificial necesita un límite humano
La advertencia de José Ignacio Latorre obliga a mirar más allá del asombro tecnológico. La inteligencia artificial puede ampliar nuestras capacidades científicas, económicas y sociales, pero también puede multiplicar nuestros errores, prejuicios y formas de dominación. No es una fuerza moral autónoma: refleja los objetivos, incentivos y decisiones de quienes la construyen y la utilizan.
Por eso, el dilema no se resuelve preguntando si debemos aceptar o rechazar la IA. La pregunta decisiva es bajo qué condiciones, con qué límites y bajo la autoridad de quién permitiremos que intervenga en nuestras vidas. La innovación no puede convertirse en una excusa para debilitar derechos, diluir responsabilidades o entregar soberanía a empresas, gobiernos o sistemas opacos.
El nuevo contrato social que inspira el trabajo de Latorre exige actualizar nuestras instituciones antes de que la capacidad tecnológica supere nuestra capacidad política para gobernarla. Eso implica preservar decisiones humanas indelegables, establecer auditorías y responsabilidades claras, proteger la dignidad y los límites ecológicos, y construir acuerdos internacionales que reduzcan los riesgos de una carrera sin control.
La pregunta final no es si las máquinas llegarán a ser más inteligentes que nosotros. Es si, mientras las hacemos más poderosas, seremos capaces de conservar la responsabilidad, el juicio moral y la soberanía necesarios para gobernarlas.
