Folia
← 返回头版

Hacker News 展示 Claimseed v0.6.0:含植入错误的合成 Medicare 医疗账单测试工具集

Hacker News 社区展示了开源工具集 Claimseed v0.6.0,该工具旨在生成带有植入错误和答案键的合成美国 Medicare 医疗账单文档(如摘要通知、明细账单等),为文档提取器、账单审核工具和 AI 代理提供安全的测试环境,以避免接触真实患者隐私 1。最新版本发布了包含 1,022 份盲测文档的标准数据集,具体包括 260 份 Medicare Summary Notices、250 份 itemized bills、256 份 PPO EOBs 以及 256 份 HMO EOBs 1。所有生成的姓名、标识符、地址和金额均由种子生成,确保没有真实文档数据被使用或衍生 1。每页文档均通过标本带、对角线水印和 PDF 元数据标记为合成样本,且无法通过 CLI 或代码关闭这些标记 1。

在技术实现与评估机制方面,Claimseed 引入了“盲密钥”机制 (--blind-keys),将答案键与文档分离存储,防止测试者作弊或模型训练数据污染 1。同一种子在同一 Chrome 构建(Linux CI)下渲染的 PDF 字节完全相同,以确保可复现性 1。系统支持 12 种布局变体 (b01-b12, p01-p12, h01-h12) 以测试工具对版式变化的鲁棒性,并支持降级图像模拟以及与 X12 835 汇款单的配套测试 1。此外,开发者推出了 MCP (Model Context Protocol) 服务器 (@claimseed/mcp),允许 AI 代理直接调用渲染和验证功能 1。配套的评分系统计算字段准确率、错误召回率、精确率和误报率,其中清洁场景专门用于检测误报 1。


评论