Investigadores de MIT enseñan a modelos de IA a decir ‘No estoy seguro’

Investigadores del laboratorio de Ciencias de la Computación y Inteligencia Artificial del MIT han descubierto que los modelos de inteligencia artificial más capaces comparten un rasgo con la voz más fuerte en la habitación: entregan cada respuesta con la misma certeza inquebrantable, ya sea que estén en lo correcto o adivinando. RLCR es la técnica que permite a los modelos de lenguaje producir estimaciones de confianza calibradas junto con sus respuestas.

El problema se debe a un origen sorprendentemente simple: los métodos de aprendizaje por refuerzo detrás de los avances recientes en razonamiento de IA, incluido el enfoque de entrenamiento utilizado en sistemas como OpenAI, recompensan a los modelos por obtener la respuesta correcta y los penalizan por obtenerla incorrecta. Nada en medio.

En experimentos a través de múltiples pruebas, RLCR redujo el error de calibración hasta en un 90% mientras mantenía o mejoraba la precisión, tanto en las tareas para las que el modelo fue entrenado como en nuevas que nunca había visto.

¿Crees que esta técnica mejorará la confiabilidad de los modelos de IA? Dinos lo que piensas.