Folia
← 返回头版

Inception推出Mercury 3扩散型大语言模型 速度突破1000tokens/秒

Inception公司推出了名为Mercury 3的大型语言模型,采用扩散技术架构1。该模型在处理速度上取得重大突破,达到1,068 tokens per second(在NVIDIA GPU上)1,相比现有模型提升4-8倍1。

Mercury 3在多项基准测试中表现突出1。在50个Mind2Web导航任务中的完成率达到50%,超越GPT-6.1-Sol1。Octen search API测试中,模型的中位数生成时间为0.9秒,端到端响应时间为2.2秒1。参数规模方面,Mercury 3比Mercury 1增加了40倍以上1,并支持100万tokens的上下文长度,显著超越Mercury 2.5的260K tokens1。

在定价和应用方面,Mercury 3的输入成本为每百万tokens 0.20美元,输出成本为0.70美元1,发布期间提供50%折扣1。已有早期合作伙伴在浏览器代理、实时教育、搜索代理、客服支持和语音应用等领域展开应用1。


评论