开源框架little LM

科技人工智能

开发者以998美元训练3.8B参数模型,性能超越GPT-2

Hugo Vergnes利用开源框架little-lm在NVIDIA B200 GPU上训练了一个包含3.8B参数的大语言模型,项目耗资仅998美元,完成时间为43小时。该模型在CORE基准上获得0.384分,超过了GPT-2 1.5B模型的0.2565分。