289m参数语言模型

开发者在8美元微控制器上成功运行2890万参数语言模型

一名开发者成功在价格约8美元的ESP32-S3微控制器上运行了2890万参数的语言模型。这一突破相比之前在同类芯片上运行的26万参数模型，参数量增加了约100倍。该模型在芯片本地运行，无需连接服务器，文本生成速度约为每秒9tokens。