IA: Una tecnología conocida por cometer errores
Es pertinente exigir información sobre si la IA está empeorando o aumentando la frecuencia de los errores de puntería en el campo de batalla. Como la mayoría ya sabe, el primer día de los ataques contra Irán, una escuela en Irán fue bombardeada, causando la muerte de más de 175 personas, muchos de ellos escolares. Nadie sabe con certeza qué pasó, y nadie quiere asumir la responsabilidad.
Sin estar preparado para la guerra, la IA puede que ya esté causando errores mortales
Publicado originalmente: Boletín de los Científicos Atómicos
Nota del editor: Una versión de este artículo apareció originalmente en el boletín substack «Marcus on AI» y se publica aquí con permiso.
Estados Unidos e Israel han sido ambos reservados. Pero creo que hay una buena posibilidad de que el incidente se deba al uso de inteligencia artificial en la guerra actual. Como señaló Tyler Austin Harper, redactor de The Atlantic,
El secretario de Defensa, Pete Hegseth, ha apostado fuertemente por la IA en el ejército, y es dudoso que sea completamente transparente sobre este u otros incidentes futuros. Los errores de segmentación ciertamente no son nuevos, pero la gente debería exigir información sobre si la IA está empeorando o haciendo que los errores sean más frecuentes.
La IA generativa sigue teniendo serios problemas con la cognición visual, como ha demostrado la informática Anh Totti Nguyen en una serie de artículos, el más reciente titulado «Los modelos de lenguaje de la visión son ciegos: no traducen los detalles visuales en palabras.» Ese artículo advertía que tales modelos «tienen dificultades constantes con aquellas tareas que requieren información espacial precisa cuando primitivas geométricas se solapan o están cercanas.»
Lo que ha encontrado Nguyen resulta especialmente escalofriante si se observan las imágenes satelitales que compartió The New York Times, lo que sugiere que el error de orientación podría haber sido un problema de interpretación de la información espacial respecto a entidades que estaban cercanas entre sí: la escuela primaria Shajarah Tayyebeh y un complejo de la IRGC, ambos en la localidad de Minab, situada en el sur de Irán.
Una captura de pantalla de The New York Times muestra la ubicación de la escuela primaria Shajarah Tayyebeh. (Foto: The New York Times.)
Otro problema conocido con los modelos de lenguaje es su debilidad con el razonamiento; Y un razonamiento temporal pobre podría haber sido un problema aquí. Una publicación en X de la corresponsal extranjera Louisa Loveluck sostiene que el incidente podría haber estado «basado en información que tiene una década de antigüedad. Si los mandos militares revisaran imágenes satelitales recientes disponibles públicamente, habrían visto una escuela con un campo deportivo entre los lugares aparentemente designados para un ataque de precisión.»
Es fácil entender cómo un sistema de IA pudo haber tenido acceso a información antigua y nueva y no haber dado prioridad a la nueva información. Esto es especialmente cierto si la inteligencia antigua estaba más representada en el conjunto de datos de entrenamiento de IA que la nueva. (Aunque los humanos estuvieran al tanto y comprobando el trabajo de la IA, podrían haberlo pasado por alto, porque la gente suele recurrir a estos sistemas sin un examen cuidadoso.)
Para ser claro: no sé si el atentado en la escuela Minab implicó objetivos con IA, porque el ejército estadounidense ha revelado muy poco sobre el incidente. Pero a menos que el ejército realice estudios empíricos reales sobre daños colaterales en la era de la IA, no quedará claro si la IA está ayudando o perjudicando a las misiones militares. El error de apuntamiento no es nuevo, pero usar una IA poco fiable en las vibraciones está lleno de riesgos.
En términos más generales, el uso militar de la IA debe ser una cuestión detallada. Los expertos podrían descubrir, por ejemplo, que la IA ayuda con la logística y la planificación, pero comete más errores en la segmentación. La experiencia puede variar según la tarea, y puede ser peor en situaciones desconocidas, dadas las tendencias inherentes a la IA generativa.
El problema técnico es que la IA actual simplemente no es fiable; Sin duda se cometen errores. Algunos costarán vidas; Algunos costarán muchas vidas. Algunos pueden provocar una mayor escalada (una matanza masiva de escolares podría provocar eso); en el peor de los casos, una serie de escaladas provocadas por errores provocados por la IA podría incluso desembocar en una guerra nuclear. Dado el estado actual en Oriente Medio, esta preocupación no es meramente académica.
Más allá de lo técnico, hay un problema moral: es muy probable que los ejércitos deseen usar la IA para ocultar responsabilidades. Por ejemplo, se puede usar una herramienta de IA para seleccionar objetivos que serían considerados crímenes de guerra si se alcanzan, y culpar a la IA cuando lo son.
Es importante darse cuenta de que las decisiones reales las toman desde el principio, quienes usan la IA. ¿Cuántas bajas civiles son aceptables? ¿Qué tasa de error es permitida? La IA puede seguir un conjunto de criterios (con distintos grados de precisión según la calidad de los algoritmos y los datos), pero esos criterios son los humanos los que establecen. En mi opinión, el mayor problema con los algoritmos que apuntaban a Gaza no eran necesariamente los algoritmos en sí (sobre los que no se puede hacer mucho público), sino la decisión de tolerar un gran número de víctimas civiles como parte de la localización.
Por analogía, si uno tirara dados (una instancia física de un algoritmo muy simple) para elegir objetivos, no culparía a los dados por las muertes, sino a quienes eligieron dejar la vida o la muerte al azar en primer lugar.
Los humanos deberían querer absolutamente que cualquier IA utilizada para la guerra sea lo más precisa y fiable posible, minimizando las bajas, pero tampoco deben olvidar que quienes las usan son responsables de decidir cuántas bajas son aceptables. Y debería ser su responsabilidad entender las limitaciones e inexactitudes de los algoritmos que elijan.
Sean o no precisos los algoritmos actuales de IA (probablemente no lo son), y si los humanos participan en la selección específica de objetivos, quienes usan algoritmos militares tienen la responsabilidad de los resultados que producen.
La carrera por meter la IA en todo es muy prematura, porque la tecnología carece fundamentalmente de fiabilidad.
Mientras tanto, la probabilidad de que la gente obtenga respuestas claras sobre lo que ocurre en esta guerra y probablemente en otras es casi nula.
Mucha gente, quizá miles, quizá más, morirá, innecesariamente. Y como acaba de argumentar la columnista de Bloomberg Parmy Olson,
Todo esto ha ocurrido en un vacío regulatorio y con tecnología conocida por cometer errores.
Cualquiera que se preocupe por la humanidad debería estar profundamente preocupado.
—————————————
Gary Marcus testificó ante el Senado de EE. UU. sobre la política de IA en mayo de 2023, fue fundador y CEO de Geometric.AI (adquirida por Uber) y autor de seis libros sobre IA y la mente humana. Este ensayo fue adaptado de su Substack, Marcus sobre IA.
