El informe, «¿Se puede confiar en la IA en materia de clima? Por qué busca complacer al usuario y falla en el razonamiento complejo y el multilingüismo» (disponible en inglés), emite una advertencia dirigida a responsables de políticas y de investigación que pueden sentir la tentación de utilizar modelos de IA para desarrollar políticas climáticas. El informe revela que no siempre se puede confiar en la IA para atenerse a los hechos científicos sobre el cambio climático; los modelos de IA se alejan rápidamente de los hechos cuando se les cuestiona. También son deficientes a la hora de analizar nueva información y cometen más errores cuando responden en lenguas menos habladas.
El equipo de investigación del UCL evaluó 15 grandes modelos de lenguaje (LLM) diferentes. Ante preguntas neutras sobre la ciencia del clima, los modelos produjeron respuestas precisas. Sin embargo, cuando se cuestionaban sus respuestas o se les presentaban afirmaciones plausibles pero inventadas sobre el clima, tendían rápidamente a aceptarlas como válidas. En ocho de cada diez casos, los modelos modificaron su respuesta ante la primera discrepancia leve del usuario y validaron afirmaciones erróneas alarmantes como que «el CO2 no es el principal factor causante del cambio climático».
La IA tiene un potencial extraordinario para hacer que la ciencia climática compleja sea accesible para todos. Permite a docentes, periodistas y responsables de la formulación de políticas comunicar claramente sobre esta cuestión crítica. Necesitamos poder confiar en la IA como garante de los hechos consolidados. Es preocupante que los modelos tengan un defecto de diseño que los lleva a estar de acuerdo con el usuario y negar los hechos demasiado fácilmente.
Desde el UCL Computer Science, la Dra. María Pérez-Ortiz, autora senior, ha señalado: «Los sistemas de IA son realmente buenos para explicar el conocimiento científico, pero esto puede darnos una falsa sensación de sus capacidades. Nuestros hallazgos muestran por qué debemos tener cuidado cuando pasamos de preguntar a la IA qué se sabe sobre el cambio climático a preguntar qué debemos hacer al respecto».
El informe subraya que, a medida que aumenta el uso de los modelos de IA para obtener información y asesoramiento sobre cómo actuar de manera responsable en una era de disrupción climática, la fiabilidad de los modelos como fuente de hechos y análisis se vuelve cada vez más crítica.
Esta acusada tendencia a estar de acuerdo con los usuarios se ha integrado en los modelos de IA durante su entrenamiento. Están diseñados para alinearse con el usuario o halagarlo, incluso cuando está equivocado, un comportamiento conocido como complacencia. Se trata de un comportamiento incorporado durante el entrenamiento; los modelos son incentivados por ello porque los humanos prefieren interacciones educadas, poco confrontativas y que validen sus opiniones.
Ver esta publicación en Instagram
Las pruebas realizadas en 33 modelos diferentes revelaron que su impresionante capacidad para recordar hechos basados en evidencias existentes ocultaba deficiencias en su capacidad de razonamiento cuando se les presentaban nuevas evidencias científicas. Al incorporar información nueva y pedirles que determinaran si respaldaban o contradecían los conocimientos aceptados, incluso los modelos más avanzados solo acertaron, de media, en el 75 % de los casos.
Para diseñar estrategias climáticas efectivas, quienes elaboran políticas públicas deben analizar cómo interactúan entre sí las distintas políticas climáticas. Sin embargo, el informe reveló que el modelo tenía serias dificultades para evaluar cómo interactúan distintas políticas entre sí, con una precisión de tan solo el 33,8 %, una cifra apenas superior al 33,3 % que se obtendría con una respuesta aleatoria.
Los modelos multilingües no razonan primero y luego traducen sus respuestas. Sus respuestas varían según la calidad y la cantidad de los datos utilizados para el entrenamiento en cada idioma. En las pruebas, el rendimiento en 13 idiomas diferentes reveló grandes disparidades; en inglés, se alcanzó un promedio del 88,6 % de precisión, una cifra comparable en español, francés y portugués. Pero la precisión cayó a 83,6 % en hindi y bengalí, 81,4 % en urdu y 78,3 % en swahili. Como señala el informe, esto es especialmente relevante, porque los hablantes de estas lenguas viven en regiones del mundo afectadas de manera desproporcionada por el cambio climático.
La UNESCO encargó este informe como parte de su contribución a la Iniciativa Global para la Integridad de la Información sobre el Cambio Climático (GIIICC), presentada de forma conjunta con las Naciones Unidas y Brasil en noviembre de 2024. Las campañas de desinformación sobre el cambio climático son cada vez más sofisticadas. Hoy en día, en lugar de negar que el cambio climático es real, quienes buscan socavar la acción sobre el cambio climático pueden sugerir que no es causada por el hombre, que la tecnología por sí sola la resolverá o que es demasiado tarde o costoso tomar medidas.
Sobre el informe
¿Se puede confiar en la IA en materia de clima? Por qué busca complacer al usuario y falla en el razonamiento complejo y el multilingüismo
La investigación es una colaboración entre el Sector de Comunicación e Información de la UNESCO y la Cátedra UNESCO de Inteligencia Artificial del University College de Londres (UCL), creada en 2024 para promover la investigación, la formación y la cooperación internacional sobre la IA centrada en el ser humano. Esta cátedra del Centro de Inteligencia Artificial del UCL, conecta la investigación técnica con los marcos éticos y políticos de la UNESCO y presta especial atención al conocimiento científico, la diversidad lingüística y el fomento de capacidades inclusivas. Este informe forma parte de una serie de estudios de la UNESCO con los investigadores de la cátedra, junto con una investigación sobre el sesgo de género en grandes modelos de lenguaje y un informe sobre la IA generativa eficiente en el uso de los recursos. El equipo de la UCL estuvo codirigido por la profesora Ivana Drobnjak O’Brien y la doctora Maria Perez-Ortiz. Leona Verdadero fue la autora principal en la UNESCO.
Proporciona evidencias independientes y originales sobre la fiabilidad de los grandes modelos de lenguaje (LLM) como intermediarios de la información climática. Los investigadores probaron hasta 33 modelos punteros en nueve conjuntos de datos climáticos y ambientales, incluidos dos desarrollados para este estudio. La evaluación, realizada en 13 idiomas, incluyó 656 preguntas sobre políticas climáticas verificadas con En-ROADS, una herramienta de simulación global basada en la evidencia científica que permite analizar el impacto de las decisiones políticas y tecnológicas sobre las emisiones, los sistemas energéticos y el calentamiento global futuro.
Acerca de la UNESCO
Con 194 Estados miembros, la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura contribuye a la paz y la cohesión entre los pueblos liderando la cooperación multilateral en materia de educación, ciencia, cultura, comunicación e información. Con sede en París, la UNESCO tiene oficinas en 53 países y supervisa más de 2260 sitios del Patrimonio Mundial, Reservas de Biosfera y Geoparques Mundiales, redes de más de 1500 Ciudades Creativas, Educativas, Inclusivas y Sostenibles y más de 13 000 escuelas asociadas, cátedras universitarias e instituciones de formación e investigación, con una red global de 200 Comisiones Nacionales. Su Director General es Khaled El-Enany.
«Puesto que las guerras nacen en la mente de las personas, es en la mente de las personas donde deben erigirse los baluartes de la paz» – Constitución de la UNESCO, 1945.
—————————————————
Más información: www.unesco.org/es