Metrics Failure in LLM-Based Code Vulnerability Repair: An Empirical Study and a Change-Aware Screen
该论文针对 LLM 自动修复 C/C++ 安全漏洞这一研究方向，质疑了当前广泛使用的评测指标——"编译率"（compile rate，即生成的补丁能否通过编译）作为单函数漏洞修复进展代理指标的可靠性。作者使用 203 个来自 Big-Vul
#evaluation-metrics
共收录 2 条相关情报。
← 返回所有主题Rethinking Backdoor Repair Evaluation: Distinguishing Aggregate Clean Utility from Benign Performance Preservation
该论文关注后门修复（backdoor repair）的评估方法问题。后门修复的目标是在被植入后门的模型中抑制恶意行为，同时尽量保留模型在良性任务上的正常性能。以往研究普遍使用两个指标来评价修复效果：攻击成功率（ASR）用于衡量后门是否被压制