研究人员对TypeSafe AI推出的分类器模型Jev的概率校准准确性进行了系统评估。该研究通过涵盖10种物理分布、采用5个提示模板、每个模板包含20种变化的1000个测试用例来衡量模型性能。评估结果显示，Jev的总变差（TV）评分为0.518，仅略优于完全随机猜测的0.546，而在均匀分布上的表现尤为糟糕，TV评分…
TypeSafe AI发布了一款名为Jev的专有文本分类模型，声称在决策任务上的性能可与GPT-5.6 Luna相当，但具有更快的速度和更低的成本。该模型在IMDb电影评论数据集上的Choice API精度达到96.47%，Noul API精度为96.20%，完成评估的总成本约为0.65美元，运行时间约22至23分钟。
TypeSafe公司推出的通用分类器Jev声称采用强化学习校准决策（RLCD）训练方法，能够返回已校准的概率值。然而，分析认为这一说法在实际应用中存在重大问题。模型的校准性能不仅取决于模型本身，更依赖于数据分布的特征；即使同一模型在特定数据集上表现良好，也无法保证在用户实际数据上维持相同的校准效果。