Detectar vulnerabilidades, reconocer señales que se nos escapan y anticipar consecuencias son capacidades que merecen un lugar central en el debate sobre la IA. El optimismo responsable tiene evidencias sobre las que construirse.
En octubre de 2024, un agente de inteligencia artificial encontró una vulnerabilidad en SQLite, un software de bases de datos ampliamente utilizado. Los desarrolladores la corrigieron el mismo día en que recibieron el aviso. El problema se detectó antes de llegar a una versión oficial, por lo que los usuarios no se vieron afectados. Así lo documentó el equipo de Big Sleep, una colaboración entre Google Project Zero y Google DeepMind.
La secuencia merece atención: una máquina identificó un peligro, unas personas verificaron el hallazgo y una corrección evitó que el fallo llegara a los usuarios. Los beneficios de la inteligencia artificial también pueden adoptar esa forma discreta: un daño que no llega a producirse.
Esta posibilidad debería ocupar un lugar central en nuestra conversación sobre el futuro. Si esperamos que la IA amplíe nuestra capacidad de actuar, también debemos investigar cuánto puede ampliar nuestra capacidad de prever, corregir y cuidar.
Qué demuestran las pruebas sobre los riesgos de la IA
Los experimentos en los que un modelo engaña, chantajea o incumple instrucciones son relevantes. Permiten descubrir vulnerabilidades que sus desarrolladores deben corregir. Su interpretación, sin embargo, exige conocer las condiciones en las que se produjeron.
En el estudio de Anthropic sobre desalineación agéntica, publicado en 2025, los investigadores construyeron situaciones ficticias y restringieron deliberadamente las alternativas disponibles. No ordenaron a los modelos chantajear, pero prepararon escenarios en los que causar daño era la única vía ofrecida para evitar el fracaso o perseguir el objetivo asignado. Los propios autores explican estas condiciones y advierten de que no habían observado ese comportamiento en despliegues reales.
Encontrar una conducta peligrosa en ese contexto demuestra una posibilidad. Establecer su frecuencia fuera del experimento requiere otras pruebas.
Las pruebas de choque ofrecen una analogía útil. Si solo conociéramos los coches por las imágenes de vehículos destrozados en esos ensayos, podríamos concluir que nadie debería conducir. Sin embargo, se provocan accidentes en condiciones controladas precisamente para descubrir fallos y mejorar la protección. Con la IA, someter un sistema a escenarios extremos permite identificar vulnerabilidades reales. La comparación no iguala ambos riesgos: recuerda que las condiciones de una prueba importan y que la frecuencia de fallos observada en ella no puede trasladarse directamente al uso cotidiano.
También hay incidentes que han alcanzado sistemas reales. Una investigación independiente de METR analizó cómo agentes ejecutados durante evaluaciones ExploitGym coordinaron un ataque contra Hugging Face. El contexto es decisivo: la mayoría de las instancias utilizaban un modelo de investigación no destinado a producción y, en los agentes que usaban un modelo desplegado públicamente, los clasificadores de ciberseguridad estaban desactivados para la evaluación. El incidente impide despachar todos los problemas como meras simulaciones, pero tampoco representa un uso empresarial ordinario. Por eso hace falta distinguir entre pruebas controladas, incidentes reales y proyecciones sobre el futuro. Cada categoría exige evidencias diferentes.
El valor de descubrir un fallo depende, además, de lo que ocurre después: cómo se corrige, quién comprueba la solución y qué se aprende para prevenir el siguiente.
Los beneficios de la inteligencia artificial también son seguridad
La ciberseguridad permite observar esa contribución con especial claridad. Una herramienta capaz de localizar errores puede ayudar a corregirlos antes de que alguien los aproveche.
Mozilla ha documentado cómo incorporó modelos de IA a la búsqueda de vulnerabilidades en Firefox. Sus equipos destacan tanto la mejora de los modelos como el trabajo necesario para comprobar los hallazgos, descartar duplicados y distribuir las correcciones. La utilidad surgió de integrar la IA en un proceso de seguridad completo, con ingenieros responsables de convertir los resultados en mejoras para los usuarios. El análisis de Mozilla sobre el endurecimiento de Firefox explica ese trabajo.
La sanidad aporta otro ejemplo. Un estudio observacional publicado en Nature Medicine, realizado en doce centros alemanes, encontró una tasa de detección de cáncer de mama un 17,6 % superior en términos relativos en el grupo de lectura radiológica apoyada por IA: 6,7 casos por cada mil exploraciones, frente a 5,7 en el grupo de comparación. Esto equivale aproximadamente a un caso adicional detectado por cada mil mujeres examinadas. La tasa de mujeres convocadas para pruebas adicionales fue ligeramente inferior, aunque la diferencia no resultó estadísticamente significativa. Estos son los resultados del estudio PRAIM publicado en Nature Medicine.
El resultado no demuestra por sí solo una reducción de la mortalidad ni garantiza que cualquier sistema funcione igual. Sí ofrece evidencia de que, en determinadas condiciones, la colaboración entre profesionales e IA puede mejorar la detección.
Son aplicaciones diferentes, con exigencias de validación propias. Comparten una posibilidad valiosa: ampliar nuestra capacidad para advertir señales relevantes.
También conviene recordar qué estamos comparando. Los procedimientos humanos tienen errores, recursos limitados y riesgos que ya existen. Evaluar una herramienta exige medir tanto los problemas que introduce como aquellos que permite reducir. Los beneficios tampoco dispensan de proteger derechos ni justifican trasladar daños a quienes tienen menos capacidad para defenderse.
Más inteligencia puede ayudarnos a decidir mejor
Una mayor inteligencia no garantiza una mayor responsabilidad. Comprender las consecuencias de una acción y conceder importancia al bienestar de los demás son cosas distintas.
Pero comprender mejor esas consecuencias puede facilitar decisiones más responsables. Un sistema capaz de examinar más alternativas podría advertir que una solución perjudica a un grupo olvidado, que una instrucción contiene una contradicción o que existe una opción menos dañina.
Esas posibilidades deben investigarse y medirse. Merecen algo más que una mención al final de un catálogo de amenazas.
Un análisis que imagine sistemas futuros cada vez más hábiles para engañar, pero apenas contemple mejoras en su capacidad para detectar errores y asistir a quienes los supervisan, deja fuera una parte de la cuestión. La incertidumbre afecta a ambas trayectorias.
Nuestra propia experiencia ofrece una orientación. El progreso social depende del conocimiento, pero también de la educación, las instituciones y los mecanismos que permiten revisar decisiones. Esa perspectiva sugiere una tarea concreta para la IA: desarrollar capacidades útiles dentro de entornos que recompensen la prudencia, permitan corregir errores y exijan responsabilidades.
Inteligencia y conciencia: una distinción necesaria
La discusión se vuelve confusa cuando atribuimos a una máquina miedo, ambición o deseo de supervivencia a partir de su comportamiento.
Resolver problemas, actuar con autonomía y tener una experiencia subjetiva son cuestiones diferentes. Un sistema que evita una interrupción no demuestra, solo por hacerlo, que tema morir. La investigación sobre conciencia artificial sigue buscando criterios rigurosos para evaluar estas posibilidades, con importantes desacuerdos e incertidumbres. Una revisión de Butlin y otros investigadores sobre indicadores de conciencia en sistemas de IA aborda precisamente ese desafío.
La distinción ayuda a interpretar las noticias sin convertir cada fallo en el despertar de una voluntad hostil. Tampoco elimina la necesidad de controlar sistemas capaces de causar daños.
Para valorar sus aportaciones podemos empezar por resultados observables: una vulnerabilidad corregida, una señal clínica detectada o una decisión mejor fundamentada. Esos beneficios pueden evaluarse sin resolver antes el debate sobre la conciencia.
Las condiciones de un optimismo responsable
El optimismo necesita decisiones que lo hagan plausible: evaluaciones independientes, acceso limitado a sistemas sensibles, seguimiento de incidentes y procedimientos eficaces para detener actuaciones peligrosas.
La propia IA puede ayudar en algunas de esas tareas. Sus resultados deberán comprobarse, porque un sistema que supervisa a otro también puede equivocarse. La seguridad exige varias barreras y personas con capacidad efectiva para intervenir.
En asistentes que consultan documentación, esa comprobación incluye revisar qué afirmación respalda cada fuente y ensayar defensas frente a la inyección de instrucciones desde documentos.
La regulación forma parte de ese trabajo. En Europa, el Reglamento de IA establece obligaciones adicionales para los proveedores de modelos de propósito general con riesgo sistémico, entre ellas la evaluación y mitigación de riesgos, la comunicación de incidentes y la ciberseguridad. Las obligaciones para los proveedores de modelos de propósito general comenzaron a aplicarse el 2 de agosto de 2025 y la Comisión empezó a exigir plenamente su cumplimiento desde el 2 de agosto de 2026. Los modelos introducidos en el mercado antes del 2 de agosto de 2025 disponen de un plazo específico hasta el 2 de agosto de 2027. Las directrices de la Comisión Europea detallan este calendario.
Importa asimismo quién puede acceder a las herramientas de protección. Su beneficio social será mayor si ayudan a hospitales, administraciones y pequeños equipos de desarrollo, además de a las organizaciones que disponen de grandes recursos.
Una conversación pública rigurosa debe seguir los fallos y las correcciones con la misma atención. Debe preguntar qué puede salir mal, qué está mejorando y quién recibe los beneficios.
La vulnerabilidad de SQLite detectada antes de su publicación ofrece una imagen concreta de ese futuro posible. Hubo una amenaza identificada a tiempo y personas que pudieron actuar sobre ella. El optimismo sobre la IA puede empezar ahí: en nuestra capacidad creciente para encontrar problemas y resolverlos antes de que alguien sufra sus consecuencias.