Folia
← 返回头版

PostHog团队分享生产实践:结构化决策模型在特定场景下比LLM更快更便宜

PostHog与TypeSafe AI团队分享了在生产环境中使用结构化“决策模型”(如Jev)替代大型语言模型(LLM)处理简单任务的工程经验1。数据显示,这类决策模型相比前沿LLM具有显著的成本和速度优势,价格最高可降低444.6倍,速度快达193.6倍1。尽管具备高效能,但该模型并不适用于需要多步推理或大量上下文的任务,此类复杂场景仍需依赖LLM1。

在具体应用场景中,该团队利用决策模型作为网关以过滤昂贵的LLM调用并保护隐私1。例如,在其Replay Vision产品中,通过两个简单的“是/否”问题检查个人身份信息(PII),使得98.7%的会话摘要无需调用Gemini即可通过筛选1。此外,决策模型也被用于路由请求至最便宜的模型以及替代过度复杂的规则引擎进行基础判断1。

为了平衡错误代价,团队建议根据具体场景调整置信度阈值策略1。若假阴性代价较高(如泄露PII),应设置较低阈值(如0.4);反之,若假阳性代价较高(如打扰用户),则需设置较高阈值(如0.85)1。值得注意的是,不同模型版本(如v1与v2)及不同任务间的阈值不可直接迁移,必须进行单独校准1。在搜索结果重排序实验中,结合嵌入向量与决策模型判断匹配度,使排名质量提升了约25%1。目前,内部已开发出名为Jeeves的混合决策模型,具备在不确定时先推理再决策的能力1。


来源

  1. Hacker NewsNot Everything Needs an LLM

评论