Desarrollan método para acelerar entrenamiento de modelos de lenguaje

Investigadores del MIT han encontrado una forma de utilizar el tiempo de inactividad computacional para acelerar el entrenamiento de modelos de lenguaje grandes (LLMs). Estos modelos están diseñados para resolver problemas complejos dividiéndolos en pasos más pequeños y son particularmente buenos en tareas desafiantes como la programación avanzada y la planificación multietapa.

El nuevo método entrena automáticamente un modelo más pequeño y rápido para predecir las salidas del modelo de lenguaje más grande, lo que reduce la cantidad de trabajo que el modelo de lenguaje debe realizar y acelera el proceso de entrenamiento. Esto puede reducir el costo y aumentar la eficiencia energética en el desarrollo de modelos de lenguaje avanzados para aplicaciones como la predicción de tendencias financieras o la detección de riesgos en redes de energía, utilizando técnicas de aprendizaje automático y algoritmos de procesamiento de lenguaje natural.