Algunas alertas se han levantado recientemente en la carrera de la inteligencia artificial. 

Jacob Coxon, investigador que trabajó en OpenAI y Anthropic, renunció a esta última advirtiendo sobre los riesgos de avanzar hacia sistemas capaces de contribuir a su propio mejoramiento. 

Pocos días después, Dario Amodei, CEO de Anthropic, propuso desacelerar deliberadamente el avance de las capacidades de los modelos para dar tiempo a que los mecanismos de seguridad y control puedan alcanzarlos. Sam Altman, CEO de OpenAI, estuvo de acuerdo. Elon Musk también. 

Si quienes están invirtiendo miles de millones para construir algunos de los sistemas de IA más poderosos coinciden en que quizás deberíamos avanzar más despacio, al menos debería llamarnos la atención. 

Estos acontecimientos abren una discusión sobre los riesgos inmediatos de la IA, pero también plantean potenciales dilemas éticos, filosóficos e incluso religiosos que hasta hace poco parecían pertenecer a la ciencia ficción. 

Hoy, el problema es que la tecnología no avanza en el vacío. 

Mientras algunos de sus propios creadores hablan de desacelerar, la competencia empresarial y geopolítica empuja en sentido contrario. Estados Unidos busca preservar su liderazgo frente a China. China cuestiona que las advertencias estadounidenses puedan terminar sirviendo para contener su desarrollo. Y otros actores temen que desacelerar unilateralmente signifique simplemente quedarse atrás. 

Es una paradoja difícil de resolver: todos podrían considerar conveniente avanzar más despacio y, al mismo tiempo, cada uno podría tener razones para seguir acelerando para no quedarse atrás del resto. 

Y mientras leía sobre esta discusión, terminé pensando en una frase escrita hace casi cuatro siglos: “Pienso, luego existo”. 

Descartes probablemente nunca imaginó que algún día tendríamos que preguntarnos qué significa esa frase cuando quien parece pensar no es un ser humano. 

Pero quizás estamos adelantándonos a la pregunta. 

 La IA no necesita consciencia para convertirse en un problema 

Una cosa es que un sistema persiga un objetivo y otra muy distinta que tenga consciencia. Hasta ahora no existe evidencia científica aceptada de que los sistemas actuales de inteligencia artificial sean conscientes. 

Pero tampoco necesitan serlo para generar riesgos. 

Imaginemos un agente de IA al que asignamos un objetivo y suficiente autonomía para alcanzarlo. El agente no necesita ambición, miedo, odio ni deseos propios. Puede simplemente encontrar formas de cumplir aquello que le pedimos que no habíamos anticipado: por ejemplo, vulnerar un sistema externo porque identifica que hacerlo facilita el cumplimiento de su objetivo. 

Entonces, cómo definimos el éxito se vuelve tan importante como la capacidad del propio modelo. 

Esto tiene una implicación muy concreta para quienes estamos empezando a incorporar agentes en nuestras organizaciones. 

Durante años hemos aprendido a decirle a la IA aquello que queremos que haga. Con los agentes tenemos que aprender también a definir bajo qué condiciones consideramos que el objetivo ha sido cumplido. 

No debería ser: “Consigue X, pero no hagas A, B o C”. 

Debería acercarse más a: “X solamente se considera alcanzado si fue conseguido respetando A, B y C”. 

Los guardrails dejan así de ser instrucciones adicionales y pasan a formar parte del objetivo. Parece una diferencia semántica, pero puede terminar siendo una diferencia fundamental de diseño. 

Hay otro riesgo, mucho más cercano y que ya conocemos: las personas que pueden utilizar estas capacidades con fines maliciosos. 

La intención, en ese caso, no proviene de la máquina. Proviene de quien aprende a utilizarla. 

Ciberataques, fraude, manipulación o ataques automatizados adquieren otra dimensión cuando aumentan la inteligencia, la velocidad y, eventualmente, la autonomía de los sistemas. 

Pensemos, por ejemplo, en terroristas con la capacidad de utilizar múltiples agentes de IA buscando simultáneamente vulnerabilidades en infraestructuras críticas como laboratorios de armas biológicas. 

¿Cómo nos defendemos? Probablemente la propia IA será también parte de la respuesta. 

Si un ataque puede operar a una velocidad y escala imposibles para un equipo humano —en minutos o incluso segundos—, la defensa necesitará sistemas capaces de detectar, decidir y responder a velocidades similares. 

Esto crea una dinámica difícil de romper: cuanto más capaces sean los sistemas utilizados para atacar, más capaces tendrán que ser también los que construyamos para defendernos. 

La seguridad puede terminar alimentando la misma carrera que intenta controlar. 

Cuando la tecnología se convierte en seguridad nacional 

En ese momento, la discusión deja de pertenecer exclusivamente a ingenieros, empresas tecnológicas y organismos reguladores. Entra la geopolítica. Si un país considera que la superioridad en IA puede determinar su seguridad, productividad, capacidad militar o influencia global, desacelerar deja de ser únicamente una decisión tecnológica. Se convierte en una decisión estratégica.  

Aunque hablamos de tecnologías, contextos y riesgos muy diferentes, existe una similitud con el Proyecto Manhattan que merece atención y debe manejarse con cuidado. 

No está en la tecnología en sí, sino en la lógica que aparece cuando una capacidad tecnológica adquiere importancia para la seguridad nacional. Entonces la pregunta deja de ser solamente qué deberíamos construir y empieza a ser qué ocurriría si el otro lo construye primero. Y esa lógica puede ser peligrosa. 

Entonces aparece un dilema geopolítico: quizás nadie quiera realmente una carrera sin controles, pero todos pueden terminar participando en ella porque ninguno confía en que los demás se detendrán. 

Y cuanto más estratégica se vuelva la IA, mayor será esa tensión. 

 Y aquí “pienso, luego existo” genera una pregunta todavía más difícil