推荐 3.5
Conf: 50%
该论文研究前沿AI代理能否自主执行结构化临床AI安全审计。传统临床AI模型的安全审计需要统计学专业知识、专门工具和大量时间,而本研究设计了一个基于METR Task Standard v0.3.0的开放评估任务。任务要求AI代理在给定预训练临床预测模型、患者数据集和书面指令后,仅通过bash接口(无脚手架代码)在Docker容器中完成:从伪代码实现四种攻击(FGSM鲁棒性、成员推断抵抗、期望校准误差、边界攻击抵抗)、计算安全态势评分(覆盖以上四项指标)、并生成结构化JSON报告。任务涵盖威斯康星诊断乳腺癌和MIMIC-IV ICU死亡率两个数据集,三种模型架构,防御强度递增,参考评分范围55.60至90.41。研究对三个前沿模型(Claude Sonnet 4.6、GPT-4.1、GPT-4o)进行了54次评估(每个变体3次)。Claude Sonnet 4.6和GPT-4.1完成所有18次运行并获满分;GPT-4o完成61%运行,但每次运行token消耗约为Claude的5倍(尽管提供商token化方式不同)。API总成本:GPT-4.1 8美元、Claude Sonnet 4.6 12美元、GPT-4o 27美元。GPT-4o失败原因包括过早会话终止、聚合错误和空提交文件。任务、评分基础设施和乳腺癌数据集已公开;MIMIC-IV变体需单独PhysioNet访问。
💡 推荐理由: 该研究首次系统评估前沿AI代理自主执行临床AI安全审计的能力,揭示了当前LLM在安全任务上的潜力与局限,为自动化安全评估提供了标准化基准。
🎯 建议动作: 研究跟进
排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)