ORCA Bench

语言模型Agent在生产应急响应中能力存在显著差距——ORCA-Bench基准揭示挑战

研究团队发布了ORCA-Bench基准，用于评估大语言模型Agent在生产环境应急响应中的根因分析能力。该基准包含1,079个系统化的根因分析任务，涵盖报告具体性、检测时间和并发故障场景等变化因素。