推荐 10.5
Conf: 50%
本文研究了大型语言模型(LLM)在代码安全漏洞检测中的路由天花板现象。作者基于先前的数学推理研究(SAIR)假设,将结构先验(即“小抄”)注入提示词,以提升模型在特定分布下的漏洞检测能力。实验使用了三个LLM(GPT-OSS-120B、Llama-3.3-70B、Gemma-4-31B),覆盖三种漏洞类型(CWE-798、CWE-284及非CWE的N+1反模式),分别代表句法、语境和语义复杂度。在合成数据集上,结构先验将语义漏洞召回率从20.0%提升至100.0%,但零样本性能随语义复杂度增加而下降。当将相同的小抄迁移至真实世界CVE数据集(VUDENC中的CWE-89和CWE-22)时,分布转移导致性能急剧下降:CWE-89的合成F1从100%降至48.9%(下降51.1个百分点)。迭代校准生成的v2小抄在真实数据上表现更差,进一步验证了SAIR中的性能权衡面。这些发现表明路由假设具有跨域普适性:模型具备解决任务的知识,但缺乏可靠的路由机制;结构先验虽能放大分布内性能,但会加剧分布外崩溃。作者主张应开发分布感知的训练方法,而非仅靠提示校准。论文代码已公开。
💡 推荐理由: 该研究揭示了LLM在代码安全检测中的脆弱性:结构先验虽能提升特定场景性能,但在真实漏洞数据上会引发灾难性崩溃,对依赖LLM的安全工具可靠性构成警示。
🎯 建议动作: 研究跟进
排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)