Metrics Failure in LLM-Based Code Vulnerability Repair: An Empirical Study and a Change-Aware Screen
该论文针对 LLM 自动修复 C/C++ 安全漏洞这一研究方向，质疑了当前广泛使用的评测指标——"编译率"（compile rate，即生成的补丁能否通过编译）作为单函数漏洞修复进展代理指标的可靠性。作者使用 203 个来自 Big-Vul
#benchmark-reliability
共收录 2 条相关情报。
← 返回所有主题Benchmark AUC Is Not Deployable Reliability: A Cross-Dataset Audit of Off-the-Shelf Features for Surveillance Video Anomaly Detection
该论文系统审计了当前视频异常检测（VAD）基准测试的可靠性。现有文献常报告高帧级ROC-AUC（例如在UCSD Ped2上超过0.9），但这些指标是通过在同一摄像头的训练和测试集上评估获得的。论文假设这一条件在真实部署中不成立，并设计了跨数