El mecanismo, conocido como protocolo de botón rojo, exigirá que un operador humano valide cualquier cambio de alerta antes de que se ejecute
Un fallo de interpretación en la plataforma de inteligencia artificial que usa el ejército de Estados Unidos estuvo a punto de desencadenar un ataque contra China. El incidente ocurrió la primavera pasada, durante el seguimiento de maniobras rutinarias en Oriente Próximo en el marco de la guerra de Irán. Lo desveló la CNN y lo ha recogido el Financial Times.
Las herramientas de vigilancia, muchas de ellas chatbots, analizaban imágenes de satélite, transmisiones de radar y tráfico de comunicaciones en tiempo real. Recibieron información viciada por problemas con las señales. A partir de ahí, el sistema clasificó movimientos convencionales de las fuerzas armadas chinas como la preparación inminente de un ataque.
El software llegó a determinar que un barco chino en Oriente Medio transportaba componentes de un programa de armas nucleares. Su diseño priorizó la hipótesis más grave: dio por hecho que el ataque se iba a producir. El nivel de alerta se disparó en minutos.
La velocidad de procesamiento dejó poco margen para la deliberación humana. Los oficiales del centro de mando detectaron inconsistencias entre las alertas de la IA y la ubicación de las zonas de patrulla, además de ruido y contradicciones. Detuvieron la ejecución de las recomendaciones de los algoritmos momentos antes de que arrancara el procedimiento automático. Según la CNN, abordaron el buque. La investigación posterior confirmó que el sistema había construido una amenaza inexistente.
El Pentágono prepara un veto manual obligatorio
El Pentágono y el Congreso de EEUU diseñan regulaciones de emergencia. El objetivo es imponer un veto manual obligatorio sobre cualquier sistema automatizado de toma de decisiones. En los borradores legislativos ese mecanismo aparece como «protocolo de botón rojo»: solo se activaría con intervención humana.
El paquete de reformas incluye tres medidas concretas. Prohíbe conectar plataformas de análisis predictivo a los sistemas de ejecución de armas. Exige mantener a un operador humano en el bucle de decisión para cualquier cambio de estado de alerta militar. E instala comandos de parada de emergencia para congelar el flujo de datos y aislar los modelos informáticos de las redes de mando si el código presenta anomalías.
La medida se valora en el Congreso y el gobernador de California la impulsa desde el pasado 18 de septiembre.
Por qué la IA confundió unas maniobras con un ataque nuclear
El episodio mostró limitaciones de los modelos de aprendizaje automático aplicados a la estrategia militar. La primera es la incapacidad para interpretar intenciones. Los algoritmos identifican patrones numéricos y correlaciones estadísticas, pero carecen de criterio para leer la diplomacia, los gestos de desescalada o el contexto de la política internacional.
La segunda es el sesgo de riesgo. Ante datos incompletos o ambiguos, el software tiende a sobredimensionar la amenaza para reducir el margen de error. Eso multiplica los falsos positivos en escenarios de tensión.
Las redes neuronales profundas procesan volúmenes masivos de información sin ofrecer una explicación inteligible en tiempo real sobre el origen exacto de sus conclusiones. Los operadores no pueden auditar la lógica del sistema durante una crisis activa: obtienen la respuesta, pero no el argumento por el que se llegó a ella.
Sin normas bilaterales entre Washington y Pekín
Analistas del sector advierten de que los controles internos no bastan. La ausencia de normas bilaterales entre Estados Unidos y China sobre el despliegue de herramientas algorítmicas en fronteras y zonas marítimas comunes mantiene abierto el riesgo de escaladas involuntarias.
El debate en los centros de decisión de Washington refleja una conclusión: la velocidad en el procesamiento de datos no puede sustituir, al menos de momento, la capacidad humana para gestionar escenarios militares que pueden derivar en situaciones bélicas o de gran incertidumbre geopolítica.
