Descubren método para detectar modelos de lenguaje sobreconfidentes

Investigadores del MIT han desarrollado un nuevo método para identificar modelos de lenguaje grandes (LLM) que generan respuestas creíbles pero inexactas. Estos modelos pueden ser sobreconfidentes y dar respuestas incorrectas, lo que puede tener consecuencias devastadoras en áreas como la salud o la finanza. El método consiste en comparar las respuestas de un modelo con las de un grupo de modelos similares, lo que permite identificar desacuerdos entre ellos y medir la incertidumbre de las predicciones.

El nuevo enfoque se ha evaluado en 10 tareas realistas, como responder preguntas y razonamiento matemático, y ha demostrado ser más efectivo que los métodos tradicionales para identificar predicciones no confiables. Esto puede tener un impacto significativo en la confiabilidad de los modelos de lenguaje y en la seguridad de los sistemas que los utilizan.