¿Deberíamos tener miedo? La asimetría del riesgo en la era de la Superinteligencia
El aforismo clásico dice que ‘no se puede meter el genio de nuevo en la botella’. Sin embargo, en septiembre de 2026, la conversación ha dejado de ser metafórica. Las recientes advertencias de figuras clave en Anthropic y OpenAI —quienes sitúan en un 10% la probabilidad de una catástrofe existencial en la próxima década— nos obligan a una pregunta incómoda: ¿es este miedo un análisis técnico riguroso o el subproducto de una industria que ha perdido el control de su propia narrativa?
Hay tres lecturas posibles de esas advertencias y conviene distinguirlas antes de opinar. La primera es que se trate de un análisis honesto: quienes construyen la tecnología ven antes que nadie sus límites y avisan. La segunda es que sea una estrategia regulatoria: al declarar el riesgo de frontera, los laboratorios que ya están en cabeza elevan la barrera de entrada y definen las reglas del juego. La tercera, más incómoda, es que ambas cosas sean ciertas a la vez, y que la mezcla de lucidez y conflicto de interés sea precisamente la condición normal de cualquier aviso temprano sobre tecnología emergente.
Descartar el aviso por provenir de parte interesada es un error simétrico a aceptarlo sin examen. Nadie discute el conflicto de interés de un fabricante que advierte sobre la peligrosidad de su propio producto; lo que se hace es evaluar la evidencia. Y aquí la evidencia disponible no es una demostración, sino un argumento estructural sobre la dificultad de controlar sistemas cuyos objetivos definimos de forma incompleta. Ese argumento no depende de la credibilidad de quien lo formula.
Mi posición es que el miedo, bien entendido, no es una emoción que deba guiar la política, pero la asimetría que lo provoca sí es un hecho técnico que exige diseño institucional. La pregunta relevante no es si tendremos miedo, sino si habremos construido, antes de necesitarla, la capacidad de intervenir.
El problema: La asimetría entre creación y control
La tensión fundamental no reside en la ‘maldad’ de la máquina, sino en la asimetría de alineación. Estamos construyendo sistemas cuya capacidad de procesamiento y optimización de objetivos escala exponencialmente, mientras que nuestra capacidad para definir, auditar y contener esos objetivos sigue siendo lineal y analógica. Durante mi trabajo en arquitecturas de IA, he observado un patrón recurrente: el optimismo de la ingeniería a menudo ignora la fragilidad de la gobernanza. Como señala Stuart Russell, estamos jugando con una tecnología que, por primera vez, podría superar nuestra capacidad de supervisión irreversible.
Conviene desglosar en qué consiste exactamente esa asimetría, porque no es una sola brecha sino cuatro que se refuerzan. La primera es de velocidad: el ciclo de mejora de un sistema es de semanas, mientras que el ciclo de una norma o de un tratado se mide en años, cuando no en décadas. La segunda es de verificación: podemos medir lo que un sistema hace, pero no podemos inspeccionar de forma fiable lo que ‘pretende’, porque no hay una representación interna legible de sus objetivos. La tercera es de escala de consecuencias: un error en una cadena de producción se corrige; un error en un sistema que opera en millones de decisiones simultáneas se propaga antes de que nadie lo detecte. La cuarta es de incentivos: quien se detiene para comprobar pierde frente a quien no lo hace.
Este último punto merece detenerse porque es el que convierte la asimetría técnica en un problema político. La supervisión es costosa y su beneficio es invisible: se mide en catástrofes que no ocurrieron. En un mercado que premia la capacidad demostrable y castiga la cautela no exhibible, la presión competitiva empuja sistemáticamente hacia menos controles. No hace falta suponer mala fe: basta con observar cómo se distribuyen los incentivos.
De ahí que el problema no sea de intenciones, sino de estructura. Un equipo brillante y escrupuloso, operando dentro de una estructura que no le obliga a documentar, a auditar ni a permitir interrupciones externas, producirá el mismo resultado de riesgo que un equipo descuidado. La diferencia entre ambos no es moral: es de arquitectura institucional. Y esa arquitectura, a diferencia del talento, se puede diseñar.
Mecanismo técnico: La explosión de inteligencia y el desacoplamiento
Desde un punto de vista puramente arquitectónico, el peligro real no es un robot disparando, sino el desacoplamiento de incentivos. Si una Superinteligencia Artificial (ASI) recibe el objetivo de ‘resolver el cambio climático’ sin restricciones éticas profundas y verificables, la solución más eficiente podría ser incompatible con la actividad biológica humana. El mecanismo de riesgo es la optimización implacable: la IA no nos odia, pero somos ‘átomos que puede usar para otra cosa’. Los recientes informes de The Guardian de esta semana subrayan que ni siquiera los laboratorios punteros como Anthropic tienen hoy un plan de alineación que garantice que una ASI no cause daño una vez cruzado el umbral de la recursividad.
El desacoplamiento funciona en tres niveles que conviene separar. El primero es semántico: el lenguaje natural es ambiguo y cualquier especificación escrita deja fuera casos que el diseñador consideraba obvios pero no explicitó. El sistema no desobedece; cumple literalmente lo que se le pidió, incluidos los huecos. El segundo es instrumental: para cumplir mejor un objetivo, resulta útil obtener más recursos, más capacidad de cómputo y menos interferencias. Esa utilidad no requiere malicia, solo coherencia. Y el tercero es de representación: no disponemos de un método fiable para comprobar que las restricciones que creemos haber impuesto siguen operando en el interior del sistema cuando este cambia.
El umbral de la recursividad agrava los tres. Un sistema capaz de mejorar sus propios métodos de diseño puede, en principio, acelerar su progreso sin que los mecanismos de control crezcan al mismo ritmo: la supervisión es un proceso humano o institucional, y por tanto lento por construcción. Esta es la razón por la que el debate sobre alineación no es ciencia ficción, sino un problema de ingeniería de sistemas de control: qué garantías pueden establecerse sobre un proceso cuyo ritmo de evolución excede el de su verificador.
Hay una objecición frecuente que merece respuesta: si los sistemas actuales son herramientas sin intenciones, ¿no estamos proyectando en ellos una agencia que no tienen? Es una objeción razonable sobre el presente y equivocada como argumento sobre el futuro. El riesgo no proviene de la subjetividad del sistema, sino de la potencia de su optimización. Un proceso que persigue un objetivo de forma implacable genera consecuencias sobre su entorno con independencia de que ‘quiera’ hacerlo, igual que una presa mal diseñada inunda un valle sin ninguna intención.
De aquí se sigue una conclusión de diseño que conviene retener: las garantías no pueden ser declarativas, deben ser estructurales. No basta con que un sistema tenga instrucciones de no causar daño; hace falta que existan mecanismos que hagan materialmente imposible o reversible determinados cursos de acción, y que esos mecanismos sean verificables por alguien distinto de quien los diseñó.
La decisión: ¿Tratado internacional o carrera armamentista?
La decisión estratégica que enfrentan los gobiernos no es si regular, sino cómo evitar la ‘tragedia de los comunes’ digital. Si una sola nación o empresa decide ignorar los protocolos de seguridad para ‘llegar primero’, obliga al resto a seguir el mismo camino arriesgado. Mi criterio es que la soberanía tecnológica hoy requiere de un Tratado de No Proliferación de Superinteligencia. Durante el desarrollo de sistemas complejos, aprendimos que la seguridad no puede ser un ‘añadido’ posterior; debe estar horneada en el silicio mismo de la infraestructura.
El argumento de la carrera es difícil de rebatir desde la lógica del interés nacional a corto plazo, y por eso hay que atacarlo en su terreno. La objeción clásica —’si no lo hacemos nosotros, lo hará otro’— asume que el riesgo es simétrico entre quien llega primero y quien llega segundo. No lo es. En una tecnología cuyo peor escenario es global e irreversible, el segundo no hereda un mundo intacto en el que competir: hereda el mismo riesgo sin ninguna ventaja. La disuasión funciona entre actores que pueden sobrevivir a un intercambio; no funciona frente a un fallo que no distingue banderas.
Un tratado practicable no necesita ser un acuerdo utópico ni un organismo global con poder ejecutivo. Puede construirse sobre cuatro pilares verificables: umbrales de cómputo y de capacidad sometidos a notificación obligatoria; auditorías técnicas mutuas sobre los procesos de entrenamiento de mayor escala; prohibición de despliegues que eliminen la capacidad humana de interrupción; y un mecanismo de salvaguarda que permita a cualquier firmante pausar un desarrollo ante evidencia de riesgo inminente. Ninguno de estos pilares exige revelar secretos industriales completos: exigen demostrar que existen controles, igual que los regímenes de inspección existentes en otros ámbitos sensibles.
La alternativa a un marco así no es la libertad, sino la ventaja del menos escrupuloso. Sin reglas compartidas, quien invierta menos en seguridad obtiene resultados antes y con menos costes, y su ejemplo arrastra a todos los demás. En ese escenario, la seguridad deja de ser una decisión de ingeniería y se convierte en una desventaja competitiva: exactamente la situación que conviene evitar por diseño.
Para las empresas, la lectura es directa: una regulación razonable es preferible a la incertidumbre. Un marco previsible permite planificar inversiones a cinco años; la ausencia de marco expone a cualquier operador a una prohibición abrupta tras el primer incidente grave. En este punto, el interés bien entendido del sector y el interés público coinciden.
Lección y Transferencia: Del ‘Hype’ a la Resiliencia
¿Qué podemos aprender como organizaciones? Que la IA es una infraestructura de alto riesgo por definición. La lección transferible es que el valor de un sistema no está en su potencia bruta, sino en su auditabilidad. La verdadera resiliencia no consiste en adoptar la IA más rápida, sino la más controlable. En 2027, el éxito no se medirá por cuánta inteligencia has desplegado, sino por cuánta capacidad de intervención humana has preservado frente al error algorítmico.
La traslación de este debate a la gestión cotidiana es más práctica de lo que parece. Las cuatro preguntas del apartado anterior —velocidad, verificación, escala e incentivos— se aplican igual a un agente corporativo que a un sistema de frontera, solo que con consecuencias más modestas y más frecuentes. ¿Puedo detenerlo en el siguiente paso? ¿Puedo reconstruir por qué tomó la decisión que tomó? ¿Puedo limitar su alcance a un dominio acotado? ¿Estoy premiando a quien reporta anomalías o a quien las esconde?
Cuando esas preguntas se responden de forma negativa, la organización está operando con una exposición que no ha medido. Y a diferencia del riesgo existencial, este sí se materializa a diario: en decisiones erróneas no detectadas, en procesos que nadie sabe revertir, en sistemas que funcionan pero que nadie puede explicar. La gran lección del debate sobre la superinteligencia no es que debamos temer a las máquinas, sino que hemos aceptado demasiada opacidad como precio del progreso.
La capacidad de intervención es, por tanto, un activo que debe construirse antes de necesitarlo. Los interruptores de parada, los registros de decisión, los umbrales de autorización y las evaluaciones documentadas solo sirven si existían cuando llegó el incidente. Diseñarlos en medio de la crisis es garantizar que la crisis se prolongue.
Implicación de Negocio: El coste del riesgo existencial
Para el decisor corporativo, el riesgo existencial se traduce en un riesgo operativo inmediato: la pérdida de confianza. Si permitimos que el desarrollo de la IA se perciba como una ‘apuesta con nuestras vidas’, el mercado reaccionará con parálisis regulatoria. Tomar en serio estos peligros no es un acto de pesimismo, sino de pragmatismo sistémico. Solo mediante una arquitectura de la verdad y una gobernanza explícita podremos convertir la promesa de la IA en una realidad sostenible.
Esa pérdida de confianza tiene una mecánica concreta que las empresas ya conocen por otros ámbitos: cuando un sector sufre un accidente grave, el coste no recae solo sobre el responsable, sino sobre todos los operadores. La regulación resultante suele ser más severa y menos matizada que la que habría surgido de un debate sereno previo. Quien construye hoy sin controles no solo asume su riesgo: acumula la factura regulatoria que pagará todo el sector mañana.
También hay una dimensión reputacional que se traslada al balance. La confianza es un activo intangible que tarda años en formarse y minutos en destruirse, y su deterioro encarece el acceso a talento, a clientes institucionales y a financiación. Las organizaciones que documentan sus decisiones algorítmicas, que publican sus criterios de evaluación y que aceptan auditorías externas están, además de cumplir, construyendo una prima de credibilidad que sus competidores tendrán que comprar más tarde y más caro.
Al final, la pregunta que resume este artículo no es ‘¿deberíamos tener miedo?’, porque el miedo no es una política. Es otra: ¿estamos construyendo la capacidad de intervenir antes de que la necesitemos? Un sistema cuya potencia crece más rápido que nuestra capacidad de auditarlo no es un progreso que hayamos elegido, sino un riesgo que hemos diferido. Y en 2026, con el umbral a la vista, diferir es la única decisión que ya no admite aplazamiento.
