#code-security

共收录 7 条相关安全情报。

← 返回所有主题
👥 作者: Matteo Cicalese, Antonio Della Porta, Stefano Lambiase, Emanuele Iannone, Torge Hinrichs, Riccardo Scandariato, Fabio Palomba

大型语言模型(LLM)在代码生成任务中广泛应用,但其输出常存在安全漏洞。现有研究通过提示工程(prompt engineering)来降低风险,但存在两个局限:一是大多关注高层次提示策略,忽视了细粒度句法变体对模型行为的显著影响;二是主要评估闭源模型,限制了结果在工业环境中的适用性(工业界更偏好自托管开源模型以保护隐私、合规和部署控制)。本文聚焦于提示的句法成分如何影响开源LLM生成代码的安全性。作者提出一种基于解析器(parser-driven)的方法,系统性地生成安全相关代码生成提示的句法变体,并在多个开源LLM和编程语言上评估其对代码安全性的影响。实验结果表明,特定的句法元素(如约束、防护、条件、概念绑定)及其在提示中的位置一致地影响生成不安全代码的可能性。这些发现将提示句法视为具体的安全控制面,并为降低LLM辅助开发中的漏洞风险提供了可操作指导。

💡 推荐理由: 揭示了提示的细粒度句法结构是影响LLM生成代码安全性的关键控制面,为开源LLM在工业安全实践中的使用提供了可量化的改进方向。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Manuel Israel Cázares

本文研究了大型语言模型(LLM)在代码安全漏洞检测中的路由天花板现象。作者基于先前的数学推理研究(SAIR)假设,将结构先验(即“小抄”)注入提示词,以提升模型在特定分布下的漏洞检测能力。实验使用了三个LLM(GPT-OSS-120B、Llama-3.3-70B、Gemma-4-31B),覆盖三种漏洞类型(CWE-798、CWE-284及非CWE的N+1反模式),分别代表句法、语境和语义复杂度。在合成数据集上,结构先验将语义漏洞召回率从20.0%提升至100.0%,但零样本性能随语义复杂度增加而下降。当将相同的小抄迁移至真实世界CVE数据集(VUDENC中的CWE-89和CWE-22)时,分布转移导致性能急剧下降:CWE-89的合成F1从100%降至48.9%(下降51.1个百分点)。迭代校准生成的v2小抄在真实数据上表现更差,进一步验证了SAIR中的性能权衡面。这些发现表明路由假设具有跨域普适性:模型具备解决任务的知识,但缺乏可靠的路由机制;结构先验虽能放大分布内性能,但会加剧分布外崩溃。作者主张应开发分布感知的训练方法,而非仅靠提示校准。论文代码已公开。

💡 推荐理由: 该研究揭示了LLM在代码安全检测中的脆弱性:结构先验虽能提升特定场景性能,但在真实漏洞数据上会引发灾难性崩溃,对依赖LLM的安全工具可靠性构成警示。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zedong Peng, Chenggang Wang, Shangyue Zhu

大型语言模型(LLM)生成的代码经常包含安全漏洞,且这些漏洞往往不是孤立的,而是跨多个关注领域同时出现,反映了软件安全中的横切性质。本文提出一个框架,将安全导向的蜕变关系(MR)与关联规则(AR)挖掘相结合,用于检测LLM生成代码中的漏洞,揭示其违反结构,并将该结构追溯到提示层面的风险因素。作者定义了覆盖主要CWE类别的九种MR,包括SQL注入、XSS、命令注入、路径遍历、硬编码凭证、弱密码学以及内存安全错误,并使用基于LLM的评判器对LLMSecEval基准测试中五个开源模型生成的3700个代码片段进行了评估。结果显示,68.8%的片段至少违反了一个MR,其中硬编码凭证(79.1%)和命令注入(74.4%)是最普遍的适用故障。AR挖掘揭示了强横切共违反模式:XSS和弱密码学共违反以82.5%置信度(提升度=3.23)预测硬编码凭证,并且存在紧密耦合的簇,连接认证、凭证处理和密码学弱点,以及输入处理和内存安全故障。随后进行的提示层面风险分析发现,与数据库和认证相关的提示是广泛横切不安全性的强预测因子,而65.5%的提示在五个模型上产生一致的违反结果。这些发现表明,不安全代码生成不仅是一组独立的缺陷,而是一个结构化的、由提示决定的现象,这促使采用簇感知验证和提示层面干预来实现更安全的LLM辅助编程。

💡 推荐理由: 该研究揭示了LLM生成代码中漏洞的横切关联性,并提供了可操作的提示层面风险分析,有助于开发者和安全工程师在设计更安全的AI编码辅助工具时采取针对性措施。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yansong Li, Paula Branco, Alexander M. Hoole, Manish Marwah, Hari Manassery Koduvely, Guy-Vincent Jourdan, Stephan Jou

该论文提出了一个名为 SV-TRUSTEVAL-C 的基准测试,用于评估大语言模型(LLM)在 C 语言源代码漏洞分析中的结构推理和语义推理能力。结构推理评估模型在不同数据流和控制流复杂度下识别代码元素间关系的能力;语义推理则检验模型在代码结构或语义发生扰动时保持逻辑一致性的能力。实验结果表明,当前 LLM 在理解复杂代码关系方面远未达到令人满意的水平,其漏洞分析更多依赖模式匹配而非稳健的逻辑推理。该基准测试揭示了 LLM 在代码安全分析中的关键弱点,并为提升其推理能力和可信度提供了重要参考。初始数据集已在 Hugging Face 公开。

💡 推荐理由: 帮助安全工程师了解 LLM 在代码漏洞分析中的真实能力局限性,避免过度依赖自动化工具。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Lam D. Dao, Vang T. Nguyen, Anh M. T. Bui, Phuong T. Nguyen

本文研究了大语言模型(LLM)内部如何识别恶意代码的机制。尽管LLM在代码补全、漏洞检测等软件工程任务中表现优异,但其识别恶意或漏洞代码的内部工作机制仍不透明。作者采用机械可解释性方法,对三个指令微调的LLM(Llama3.1-8B-Instruct、Mistral-v0.3-7B-Instruct和Qwen2.5-7B-Instruct)进行了分析,利用PyPI Malregistry中的1500个恶意包和1500个良性包进行探测。实验首先通过线性探针定位前馈网络(FFN)中与恶意代码检测相关的神经元,然后通过因果干预(放大或抑制这些神经元)验证其作用。结果表明,放大促进恶意检测的神经元并抑制抑制性神经元可以提高分类准确率,而反向操作则会导致预测向单一类别崩溃,但该效果强烈依赖于具体模型。不同模型的护栏检测机制存在差异,其恶意代码检测行为在FFN层中的编码方式各不相同。该研究揭示了LLM编码恶意编程概念的方式,为神经元层级编辑、选择性遗忘和安全对齐等更可靠的防御机制奠定了基础。适合对LLM安全、可解释性和代码安全感兴趣的研究者阅读。

💡 推荐理由: 该研究首次从神经元层面揭示了LLM识别恶意代码的内部机制,为设计更可靠的LLM防御策略(如神经元编辑、安全对齐)提供了理论基础,有助于提升代码LLM在实际部署中的安全性。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Anjun Gao, Yueyang Quan, Zhuqing Liu, Minghong Fang

本文提出 CodeTracer,一个面向大语言模型代码补全系统中后门攻击的取证框架。背景是:代码补全系统(如 Copilot)依赖大型语言模型,但模型可能通过恶意微调数据被植入后门,导致生成恶意代码。现有防御技术难以检测和缓解自适应后门攻击。CodeTracer 在真实部署约束下(仅依赖微调语料库和报告的错误补全事件)运行,从受攻击输出中提取结构化行为指纹,将搜索范围缩小至语义相关的代码样本,并利用基于 LLM 的推理将不安全逻辑归因到特定的后门数据。在三个代表性漏洞场景和十种后门攻击、十六个竞争基线上的广泛评估表明,CodeTracer 持续达到高取证准确率、低误识别率,并对自适应攻击具有强鲁棒性。该方法不直接防御后门,而是帮助安全团队定位攻击根源,为后续清洗训练数据提供依据。

💡 推荐理由: 该研究为蓝队提供了一种在代码补全系统被植入后门后,溯源攻击训练数据的方法,有助于识别和清除恶意数据,增强供应链安全。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Cristina Carleo, Pietro Liguori, Naghmeh Ivaki, Domenico Cotroneo

本文研究了一种名为“abliteration”的低秩权重编辑方法,用于解除代码大语言模型(LLM)在生成指定漏洞代码时的安全对齐拒绝行为。在基于学习的安全漏洞检测任务中,大规模有标注漏洞代码数据集的构建一直面临标签噪声问题,现有的LLM增强方法往往只是变换已有的漏洞种子,而非根据规范合成漏洞,导致标注不准确。因此,作者提出从安全代码出发,利用指令调优的LLM注入特定CWE(如CWE-89 SQL注入),但安全对齐的代码LLM通常会拒绝此类请求。Abliteration方法通过对模型残差流中的拒绝方向进行正交投影,实现在不显著影响代码生成能力的前提下消除拒绝行为。实验以Python和CWE-89为案例,评估了Qwen2.5-Coder-Instruct系列(3B、7B、14B参数)在PromSec和SafeCoder两个安全代码数据集上的表现,每种条件重复三次。结果显示:(i)拒绝行为与模型大小和提示上下文高度相关:14B模型拒绝100%的注入提示,7B在PromSec上拒绝73%但在SafeCoder上仅拒绝5%,而3B几乎从不拒绝;(ii)Abliteration将拒绝率降至零或接近零,同时保持语法有效性超过93%,表明在该设置下拒绝可以与代码生成能力分离;(iii)注入后的漏洞注入率受限于模型能力:14B达到88-97%,7B达到89-90%,3B仅25-48%,从而区分了“意愿”(通过abliteration实现)与“能力”(随参数规模增长)。漏洞判定通过CodeQL、Semgrep、Bandit三个工具的集成检测器以及两位作者对检测器阳性结果的人工裁决完成。本研究属于初步可行性探索,作者认为abliteration有望为漏洞数据集的规模化构建提供新途径,但同时也警示了潜在的安全风险。

💡 推荐理由: 该方法可能为安全社区提供一种高效生成带标签漏洞代码的途径,从而提升基于学习的漏洞检测器的训练数据质量;但同时可能被恶意利用来生成攻击样本,需要关注其双面性。

🎯 建议动作: 研究跟进:评估该方法在更多CWE类型和编程语言上的有效性,并探索检测或防御此类注入生成的策略。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)