统计保证

科技人工智能

Jevstiller:开源模型蒸馏框架实现高速本地推理与一致性保证

Jevstiller是一个开源系统,通过学习大型模型Jev的答案来训练本地小模型,从而在保证与原模型一致性的前提下实现显著加速。本地模型推理延迟约15毫秒,相比API调用的300毫秒延迟。