El superordenador de Nvidia, Eos, logra entrenar un modelo GPT-3 masivo en tiempo récord.
MADRID, 9 Nov. (Portaltic/EP) -
El superordenador Eos de Nvidia ha logrado reducir significativamente el tiempo de entrenamiento de modelos de inteligencia artificial (IA) en menos de seis meses, al conseguir entrenar a GPT-3 con 175.000 millones de parámetros en menos de cuatro minutos.
En marzo del año pasado, Nvidia presentó Eos con la expectativa de convertirse en el sistema de computación de IA más rápido del mundo. Estaba equipado con 4.608 GPU DGX H100 y 576 sistemas DGX H100, ofreciendo un rendimiento de 18,4 exaflops.
Desde entonces, el superordenador ha sido actualizado con 10.752 GPU H100 Tensor Core y cuenta con la red Quantum-2 InfiniBand de Nvidia. Esta configuración le ha permitido superar un test de entrenamiento de IA basado en un modelo GPT-3 con 175.000 millones de parámetros entrenado en mil millones de tokens en tan solo 3,9 minutos.
En junio se introdujo una prueba similar, cuando el superordenador, con 3.584 PGU H100 en ese momento, completó el entrenamiento del modelo GPT-3 en 10,9 minutos. Es decir, el tiempo se ha reducido en un tercio en menos de seis meses, según informa Nvidia en una nota de prensa.
En la prueba más reciente, además de aumentar el número de GPU, también se han utilizado "una plataforma completa de innovaciones en aceleradores, sistemas y software", y todo esto se ha realizado en Azure, la nube de Microsoft.
Nvidia ha destacado que "la aceleración del tiempo de formación reduce los costes, ahorra energía y acelera el tiempo de comercialización".