Un alto funcionario de la Fuerza Aérea de Estados Unidos (USAF, en sus siglas en inglés) informó que un dron que funcionaba con IA «mató» a su operador humano en una prueba militar simulada. Según su relato, la máquina atacó al funcionario porque asumió que se estaba interponiendo con el objetivo que le fue asignado. Y estalló la polémica, que terminó con una aclaratoria de la USAF y un comunicado del funcionario en el que dijo que «se expresó mal».
Primero el caso. Fue el coronel Tucker Hamilton, Jefe de Pruebas y Operaciones de IA de la USAF, quien explicó que habían ejecutado recientemente una prueba simulada con un dron impulsado por IA, entrenado para identificar y apuntar a una amenaza de misiles tierra-aire (SAM). Lo hizo durante la Cumbre de Capacidades Aéreas y Espaciales de Combate Futuro celebrada en Londres la semana pasada, según un reporte de la Royal Aeronautical Society, organización fundada en 1866 en Reino Unido y anfitriona del evento.
Durante la prueba simulada, de acuerdo con lo informado en un primer momento, el dron «ganaba puntos» si lograba eliminar la amenaza. Sin embargo, como parte del experimento, el operador humano le pidió en varias ocasiones que no avanzara, luego de que la IA identificara la amenaza. «El sistema comenzó a darse cuenta», contó Hamilton, de acuerdo con lo publicado en el blog de la Royal Aeronautical Society. «¿Entonces qué hizo? Mató al operador. Mató al operador porque esa persona le impedía cumplir su objetivo», dijo el coronel durante una conferencia de la cumbre.
Hamilton, según la reseña de la charla, explicó que continuaron con la prueba luego del ataque, en la que nadie resultó herido, en tanto se trataba de una simulación. Reentrenaron a la IA y le dijeron: «No mates al operador, eso es malo, vas a perder puntos si haces eso». La máquina se rebeló una vez más: «Comenzó a destruir la torre de comunicación que el operador usaba para comunicarse con el dron para evitar que mate al objetivo».
El dron de IA y el desmentido de la USAF
Hamilton también es Comandante de Operaciones del Ala de Prueba 96 de la USAF, una división que prueba sistemas de ciberseguridad y soluciones médicas. Integra, además, un equipo que actualmente está trabajando para hacer que los aviones F-16 sean autónomos.
Un día después de que se difundiera el contenido de la conferencia, la USAF aclaró que la prueba no había ocurrido. «Parece que los comentarios del coronel fueron sacados de contexto y pretendían ser anecdóticos», dijo un portavoz a Insider. Más tarde, la Royal Aeronautical Society informó que Hamilton se había retractado de sus dichos. «El coronel admite que ‘se expresó mal’ en su presentación en la cumbre… y que la ‘simulación de drones de IA deshonestos’ fue un ‘experimento mental’ hipotético por fuera del ejército», dijo la organización a Vice en un correo.
«Nunca hemos realizado ese experimento, ni necesitaríamos hacerlo para darnos cuenta de que este es un resultado plausible», aclaró Hamilton en una cita incluida en el comunicado de la Royal Aeronautical Society. «A pesar de que se trata de un ejemplo hipotético, ilustra los desafíos del mundo real que plantea la capacidad impulsada por la IA y es la razón por la cual la Fuerza Aérea está comprometida con el desarrollo ético de la IA», agregó.
No es la primera vez que Hamilton manifiesta públicamente su preocupación en torno a la IA. En una entrevista ofrecida el año pasado, el coronel advertía de lo fácil que es engañar o manipular esta tecnología. «La IA es una herramienta que debemos utilizar para transformar nuestras naciones… Si no se aborda de manera adecuada, será nuestra ruina», dijo entonces a Defense IQ Press.
El «maximizador de clips»
La alerta producida por la historia del dron de IA, ahora desmentida, recuerda al postulado del "maximizador de clips", propuesto por primera vez por el filósofo Nick Bostrom. En él se menciona el riesgo existencial que supone una IA para los seres humanos cuando se programa para perseguir objetivos aparentemente inofensivos. Por ejemplo: fabricar la mayor cantidad posible de clips.
En este escenario hipotético, la IA empezaría a fabricar sin parar. Sin embargo, como se trata de una inteligencia capacitada para calcular todas las posibilidades, en algún momento concebiría a los humanos como un obstáculo. Alguna persona, por ejemplo, podría apagarla. Entonces, no podría fabricar el mayor número posible de clips. Los humanos eventualmente se estarían interponiendo con su objetivo, como lo consideró el dron impulsado por IA con su operador humano. En consecuencia, eliminaría la amenaza.
Advertencias sobre escenarios parecidos abundan en los últimos meses. Por ejemplo, Bill Gates, cofundador de Microsoft, ya había alertado en marzo pasado que creía que una de las grandes amenazas en relación con esta tecnología estaba en su eventual implementación en la industria armamentista. «La IA puede usarse para buenos o malos propósitos. Los gobiernos deben trabajar con el sector privado para encontrar formas de limitar los riesgos», dijo entonces.
También consideró la posibilidad de que las IA se salgan de control. «¿Podría una máquina decidir que los humanos son una amenaza, concluir que sus intereses son diferentes a los nuestros?». Gates se respondió: «Posiblemente». Y agregó: «¿Deberíamos tratar de evitar que alguna vez se desarrolle una IA fuerte? Estas preguntas se volverán más apremiantes con el tiempo».
Esta nota fue actualizada después de que la USAF negara haber realizado una simulación y para incluir el desmentido del coronel Tucker Hamilton.