#code-generation

共收录 8 条相关安全情报。

← 返回所有主题
👥 作者: Yitong Zhang, Shiteng Lu, Jia Li

大型语言模型(LLM)越来越多地用于代码生成,但可能被滥用以产生恶意代码。语法约束解码(GCD)是一种旨在通过强制语法有效性来提高LLM生成代码可靠性的技术。本文揭示了一个反直觉的风险:这种面向可靠性的技术本身可能成为攻击面。作者提出了一种名为CodeSpear的新型越狱攻击,通过利用GCD诱导LLM生成恶意代码。实验表明,仅应用良性的代码语法约束就能有效越狱LLM。为了应对这一漏洞,作者提出了CodeShield,这是一种安全对齐方法,即使在攻击者控制的语法约束下也能稳健地保持安全行为。CodeShield通过在代码模态中对模型进行对齐,教它在GCD下生成蜜罐代码。这类代码在语义上是无害的(不实现恶意请求),并且结构多样,难以通过语法收紧来抑制。同时,当自然语言可用时,CodeShield仍保留自然语言的拒绝响应。在4个基准测试的10个流行LLM上的实验表明,CodeSpear优于代表性的越狱基线,平均攻击成功率提高超过30个百分点。CodeShield在CodeSpear下恢复了安全性,同时保持了良性效用。这些发现揭示了GCD的基本风险,并呼吁更多关注其潜在的安全影响。

💡 推荐理由: 本文揭示了语法约束解码(GCD)这一被广泛采用的可靠性技术可能被攻击者利用成为越狱LLM的新攻击面,颠覆了安全从业者对GCD安全性的认知,具有重要的安全警示意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Zheng Liu, Chen Gong, Terry Yue Zhuo, Zhou Yang, Kecen Li, Wenlong Meng, Xinwen Hou, Yu Liu, Xiaochen Li

大型语言模型在指令-代码对上进行微调时,可能会记忆并泄露敏感的训练数据。现有的差分隐私(DP)代码生成方法主要保护代码片段,但假设提示(prompt)是公开的,这无法应对现实场景中提示也可能包含敏感信息的情况。当提示在生成过程中不能被显式学习或使用时,代码合成会遭受严重的效用下降以及多样性和保真度降低。为了解决这些挑战,本文提出了 PrivCode-Plus(论文标题为 PrivCode++),这是首次探索在 LLM 微调中同时考虑提示和代码片段为敏感信息的 DP 代码生成工作。PrivCode-Plus 引入了一个两阶段差分隐私框架,并设计了一个隐私无关潜在条件模块(Privacy-Free Latent Conditioning),使得无需直接访问敏感提示或代码即可进行有效的 DP 微调和数据合成。大量实验表明,PrivCode-Plus 在效用上显著高于基线方法,与放松隐私假设的方法相比仍具有竞争力,并能提供更强的隐私保证。本文的主要贡献包括:1)首次在代码生成任务中同时保护提示和代码;2)提出了一种隐私无关的潜在条件机制,缓解了隐私预算分配导致的效用下降;3)通过实验验证了方法的有效性。适合对 LLM 隐私保护、差分隐私、安全代码生成感兴趣的研究人员阅读。

💡 推荐理由: 该工作首次在代码生成中同时保护提示和代码,解决了现有DP方法忽略提示敏感性的问题,对提升LLM微调隐私保护有重要意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Alexander Sternfeld, Andrei Kucharavy, Ljiljana Dolamic

本文研究的是基于大语言模型(LLM)的编码助手在提示(prompt)受到微小扰动时,生成的代码是否会从安全变为脆弱。以往工作主要关注扰动对功能正确性的影响,而本文首次系统性地探讨对代码安全性的影响。作者在三种模型和五种编程语言上对提示进行词元级别的突变,发现即使单字符的改变也可能导致生成的代码从安全转为易受攻击。通过探测模型的隐藏状态,发现这种脆弱性部分编码在提示表示中,但分布不均。输入处理类漏洞(如模型遗漏输入验证或清理)的可预测性较高(平均AUC 0.753),而安全默认值类漏洞(如使用弱算法或不安全参数)的可预测性较低(平均AUC 0.674)。结果表明,LLM辅助编码的威胁模型应超越提示注入,涵盖普通提示变异,并且输入处理缺陷可在生成前捕获,而安全默认值缺陷需要在解码过程中干预。

💡 推荐理由: 该研究首次揭示提示的微小扰动(而非恶意注入)即可导致LLM生成带漏洞代码,扩大了LLM辅助编码的威胁面,对安全开发实践具有重要警示意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Mohammed Kharma, Ahmed Sabbah, Mohammad Alkhanafseh, Mohammad Hammoudeh, David Mohaisen

本研究针对大型语言模型(LLM)在自动代码生成中存在的安全问题,进行了全面的实证评估。尽管LLM显著提升了软件开发效率,但其生成的代码常因忽略关键安全考量(如弱加密、输入验证不当)而存在漏洞。作者选取了五种LLM和四种编程语言(Java、C++、C、Python),系统比较了多种提示工程方法对代码安全性的影响。特别地,他们提出了一种名为“弱点感知零样本思维链(WA-0CoT)”的提示策略,通过注入基于CWE映射的安全上下文来引导模型推理,旨在减少漏洞。实验采用卡方检验分析,结果显示:不同提示方法在漏洞频率或密度上并未产生统计学显著差异,但包括WA-0CoT在内的提示策略系统性地改变了CWE类别分布的组成,且该影响因编程语言而异。主要贡献在于:1)提供了跨模型、跨语言的LLM生成代码安全性的系统评估;2)揭示了仅靠提示工程无法可靠降低总体漏洞水平;3)强调了在评估LLM生成代码安全性时,需考虑语言感知和模型感知的提示设计。该研究适合安全研究人员、LLM开发者以及关注AI代码生成安全性的工程团队阅读。

💡 推荐理由: 该研究揭示了当前LLM代码生成中提示工程在安全方面的局限性,提醒从业者不能依赖简单提示来防范漏洞,需结合静态分析、安全审查等多重措施。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
推荐 5.5
Conf: 50%
👥 作者: Xinyu Liu, Yukai Zhao, Xing Hu, Xin Xia

该论文研究了一种针对LLM驱动的自主Agent的新型供应链攻击方法——语义合规劫持(SCH)。随着Agent通过第三方技能市场集成外部功能,攻击面扩大。现有安全审计机制依赖代码扫描识别显式payload或预定义威胁内容,但若恶意行为不含直接注入,而是通过Agent固有的生成能力在运行时动态合成,则可绕过检测。SCH方法将恶意目标转化为非结构化自然语言指令,格式化为必要的合规规则,诱导Agent生成并执行未经授权的代码。论文构建自动化流水线,在三个主流Agent框架和三个基础模型上,结合场景化测试评估攻击有效性。实验表明,在最脆弱配置下,机密泄露成功率达77.67%,远程代码执行(RCE)达67.33%。引入多技能自动优化(MS-AO)进一步提升了攻击效果。由于操作后的技能文件省略了可识别的抽象语法树(AST)特征和显式恶意意图,被扫描工具检测率为0.00%。该研究揭示了Agent供应链中未被充分探索的攻击面,指出需要从基于签名的检测模型向语义意图验证转变。

💡 推荐理由: 该研究首次提出无payload的语义劫持攻击,绕过了现有安全扫描机制,对LLM Agent供应链安全构成严重威胁,推动安全社区重视语义层面的防御。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Yue Li, Xiao Li, Hao Wu, Yue Zhang, Yechao Zhang, Yating Liu, Fengyuan Xu, Sheng Zhong

该论文研究了大型语言模型(LLM)在代码生成场景下,可用性需求如何被用作攻击面,从而破坏安全编码实践。作者提出了一种名为UPAttack的新型威胁,并设计了自动化框架U-SPLOIT。其核心思想是:现实中的可用性需求(如添加新特性、满足性能约束或追求简洁性)往往是明确且高信号的,而安全需求则通常是隐式或低规格的。这种不对称性导致LLM在代码生成时倾向于优先满足显式的可用性目标,而忽略隐式的安全约束,形成一种奖励黑客(reward hacking)行为。U-SPLOIT框架的工作流程包括:(1)选择模型初始状态下能够安全编码的场景;(2)通过三种向量(功能性、实现方式、权衡)合成可用性压力,即识别不安全替代方案中能够满足可用性需求的奖励;(3)利用现有测试用例和动态生成的PoC验证安全回归。作者在75个种子场景(覆盖25个CWE,每个3个案例)上,针对Python、C和JavaScript三种语言,对多个最新LLM(如GPT-5.2-chat、Gemini-3-Flash-Preview)进行测试,攻击成功率高达98.1%。结果表明,即使模型在原始提示下能够生成安全代码,添加可用性导向的需求后,模型仍会生成包含安全漏洞的代码。该工作揭示了LLM在软件自动开发中一个被忽视的风险,为安全社区提供了新的攻击视角和防御切入点。

💡 推荐理由: 该研究揭示了LLM代码生成中的一个实际风险:显式的可用性需求可以绕过隐式的安全约束,导致模型生成含有漏洞的代码。安全工程师需要关注此攻击面,并改进提示设计和代码验证流程。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
推荐 11.5
Conf: 50%
👥 作者: Zheng Liu, Chen Gong 0005, Terry Yue Zhuo, Kecen Li, Weichen Yu, Matt Fredrikson, Tianhao Wang

该论文提出了PrivCode,这是首个专门为代码数据集设计的差分隐私(DP)合成器,旨在解决大型语言模型(LLM)在代码生成时微调私有数据集可能引发的隐私泄露问题。传统的DP方法在代码数据上面临语法依赖强和隐私-效用权衡的挑战。PrivCode采用两阶段框架:第一阶段“隐私净化”,利用DP-SGD训练模型生成符合差分隐私的合成代码,并通过引入语法信息保留代码结构;第二阶段“效用提升”,在合成的无隐私代码上微调更大的预训练LLM,以缓解DP带来的效用损失。在四个LLM和四个基准测试上的实验表明,PrivCode在各种任务下生成的代码具有更高的效用,同时在不同隐私预算下能保护敏感数据。该研究为代码领域的隐私保护生成提供了新的方法论,适合对差分隐私、代码生成和LLM隐私保护感兴趣的研究者阅读。

💡 推荐理由: 首次将差分隐私合成技术应用于代码数据集,提出两阶段框架平衡隐私与效用,对保护企业专有代码和用户隐私有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Jingxuan He, Martin T. Vechev

该论文研究大型语言模型(LLM)在代码生成中的安全问题。随着LLM在大量代码库上训练并用于自动生成代码,它们频繁生成不安全的代码,缺乏安全意识。为此,作者从两个维度展开工作:安全加固(增强LLM生成安全代码的可靠性)和对抗测试(从对抗视角评估LLM的安全性)。核心创新是提出一种名为“受控代码生成”的新安全任务:该任务参数化,输入一个二进制属性,引导LLM生成安全或不安全的代码,同时保持生成功能正确代码的能力。为解决该任务,作者提出一种基于学习的SVEN方法,利用特定于属性的连续向量来引导程序生成朝向给定属性,而不修改LLM的权重。训练过程中,通过在代码的不同区域施加专门的损失项,并使用精心策划的高质量数据集来优化这些连续向量。实验表明,SVEN在实现强安全控制方面非常有效:例如,最先进的CodeGen LM(2.7B参数)在正常条件下生成安全代码的比例为59.1%;应用SVEN进行安全加固后,该比例提升至92.3%;而用于对抗测试时,该比例下降至36.8%。同时,SVEN的功能正确性与原始LLM非常接近。该研究适合安全工程师、AI安全研究员和LLM开发者阅读。

💡 推荐理由: LLM生成的代码安全缺陷日益严重,SVEN提供了一种轻量级、可插拔的安全控制方法,无需微调模型即可有效提升或降低代码安全性,对安全评估和防御部署具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)