决策模型

科技人工智能

决策模型应用激增,初创公司Sqwish融资探索定制化路径

随着“决策模型”在人工智能生态中的快速普及,该细分领域正成为行业新焦点 。数据显示,10月期间,Vercel的AI模型路由请求中超过四分之一流向此类仅做快速判断而不生成文本输出的LLM变体 。

科技人工智能

PostHog团队分享生产实践:结构化决策模型在特定场景下比LLM更快更便宜

PostHog与TypeSafe AI团队分享了在生产环境中使用结构化“决策模型”(如Jev)替代大型语言模型(LLM)处理简单任务的工程经验。数据显示,这类决策模型相比前沿LLM具有显著的成本和速度优势,价格最高可降低444.6倍,速度快达193.6倍。尽管具备高效能,但该模型并不适用于需要多步推理或大量上下文的任…

科技人工智能

Flide 发布:专为 Jev 风格决策模型打造的高速推理引擎

开发者在 Hacker News 平台推出了名为 Flide 的人工智能推理基础设施,该工具专门针对 Jev 风格的决策模型进行优化 。Flide 采用“精确状态分叉”技术,宣称其处理速度相较于 vLLM 和 SGLang 等主流框架提升最高可达 9.5 倍 。项目遵循 Apache-2.0 开源协议,其中部分内核代…

科技人工智能

Jev结合Opus复核实现低成本高准确率身份解析

一项技术实验验证了利用决策模型Jev与前沿模型Opus组合,可在大幅降低成本的同时维持接近顶级模型的准确率。该研究聚焦于检测身份解析中的“过度合并”现象,结果显示,通过让Jev先行筛选、Opus随后复核的混合策略,系统能够以低于纯Opus方案四倍以上的成本实现前沿级别的准确性 。

科技人工智能

Spinf-serve:专为批量评分与决策优化的开源推理服务器

Spinf Inc. 发布了一款名为 spinf-serve 的开源 AI 推理服务器,该工具专门针对批量评分和决策任务进行优化 。与传统生成式模型不同,spinf-serve 能够在单次读取内容后并行回答多个问题,并直接返回选项的概率分布(包括 logprob、p 和 floor_p),而非生成文本,从而显著提升了…

科技人工智能

微软推出Microsoft-Decision-1决策模型 性能和成本均处业界领先

微软推出了专门用于快速决策任务的AI模型Microsoft-Decision-1。这一模型在36个基准测试中表现突出,平均准确率达到83.5%,排名第一。该模型在速度方面优势明显,运行速度比GPT-6 Sol快35倍,同时成本仅为其1/200。

科技人工智能

Strands发布开源决策模型Strands Decider 2B

Strands公司推出了一款名为Strands Decider 2B的开源决策模型,专门针对快速决策和代理应用场景设计。该模型拥有20亿参数,可在本地CPU或GPU上运行。在决策延迟性能方面,中位决策延迟在Nvidia RTX3090上约为115毫秒,在MacBook M3上约为153毫秒。

科技人工智能

AI决策模型推动内容审核技术创新

AI公司Musubi宣布推出轻量级决策模型PolicyLM-1.7B,专门用于实时内容审核。该模型采用开放权重发布,能够在50毫秒内将纯英文的内容政策应用于消息审核。与传统审核系统相比,PolicyLM-1.7B无需特殊训练即可应用复杂政策,且政策变更时无需重新训练。

科技人工智能

Amazon发布开源决策模型Strands Decider 2B

亚马逊云服务(AWS)推出了名为Strands Decider 2B的开源决策模型。该模型基于Qen3.5-2B构建,专注于在预定选项之间进行排序并提供置信度评分,而非生成文本内容。作为一款高速、低成本的工具,Strands Decider 2B足够轻量,可以在本地运行,旨在满足AWS客户对更轻量级人工智能工具的需求。

科技人工智能

决策模型Jev性能未超越LLM评判和传统分类器

Red Hat AI Safety团队发布了一项技术评估,对比了TypeSafe AI的Jev决策模型与传统文本分类器和LLM-as-a-judge方法在AI安全守卫中的表现。该研究通过在提示注入和内容安全两个基准测试中对9种方法进行评估,结果显示Jev决策模型在速度和准确性上并未超越LLM-as-a-judge或预…

科技人工智能

TypeSafe AI的Jev模型概率校准能力有限

研究人员对TypeSafe AI推出的分类器模型Jev的概率校准准确性进行了系统评估。该研究通过涵盖10种物理分布、采用5个提示模板、每个模板包含20种变化的1000个测试用例来衡量模型性能。评估结果显示,Jev的总变差(TV)评分为0.518,仅略优于完全随机猜测的0.546,而在均匀分布上的表现尤为糟糕,TV评分…