La compañía tecnológica Meta ha presentado LIMA, un modelo de lenguaje grande que demuestra que se pueden obtener respuestas de alta calidad a partir de un conjunto pequeño de indicaciones con un modelo previamente entrenado. Este modelo se basa en LLaMa, un modelo con 65.000 millones de parámetros que fue facilitado por la compañía con fines investigadores en el primer trimestre del año.

Según Meta, los grandes modelos de lenguaje suelen entrenarse en dos fases: una formación previa no supervisada de texto sin procesar, para que aprenda representaciones generales, y otra a gran escala de aprendizaje mediante ajuste y refuerzo, con la que se busca que la IA se alinee mejor con las tareas finales y las preferencias del usuario. Sin embargo, con LIMA, Meta pretende demostrar que es posible obtener resultados de calidad a partir de unas pocas indicaciones con un modelo que ha sido ampliamente entrenado con anterioridad. Para ello, utilizaron mil ejemplos de instrucciones reales cuidadosamente curadas, 750 procedentes de foros como Stack Exchange y wikiHow y otras 250 redactadas por los propios investigadores.

El rendimiento de LIMA se comparó con otros modelos como GPT-4 de OpenAI, Claude de Anthropic y Bard de Google, con un test controlado de 300 indicaciones. Los resultados muestran que LIMA produce respuestas "iguales o preferibles" en el 43%, el 46% y el 58% de los casos, respectivamente. Según los investigadores, "las respuestas de LIMA 'revelan que el 88% cumple con los requisitos inmediatos, y el 50% se considera excelente'".

En resumen, LIMA de Meta es un modelo de lenguaje grande que demuestra que es posible obtener respuestas de alta calidad a partir de un conjunto pequeño de indicaciones con un modelo previamente entrenado. Según los resultados del test controlado, LIMA produce respuestas iguales o preferibles en comparación con otros modelos de lenguaje como GPT-4 de OpenAI, Claude de Anthropic y Bard de Google.