#secure-code-generation

共收录 6 条相关安全情报。

← 返回所有主题
推荐 5.5
Conf: 50%
👥 作者: Prateek Kumar Rajput, Abdoul Kader Kabore, Yewei Song, Melissa Tessa, Tailia Malloy, Jacques Klein, Tegawendé F. Bissyandé

该论文关注LLM编码智能体(coding agent)在解决任务过程中产生的安全债务问题。作者指出,编码智能体在提交最终方案前会经过数百个中间代码状态,而现有评测通常只看最终产物,导致安全发现(security findings)随轨迹演化的过程完全未被度量。为此,论文提出“安全债务线积分”(Security Debt Line Integral, SDLI),其核心思想是:当智能体在测试通过比例上达到新的最佳值时,累积其静态分析风险,从而把“功能进展”与“安全债”放在同一坐标下观测。作者用四个静态应用安全测试(SAST)工具实例化SDLI,并分析了三类数据:830次通过的SWE-bench运行、712个ProgramBench最终工作区、13条公开MirrorCode轨迹;后两类大规模数据使用SDLI的终态特例。实验显示,两种工具在CWE类别上的一致性在SWE-bench运行中仅3.9%,在至少通过90%官方测试的80次ProgramBench运行中为26.2%;剔除三个以“建议/告警”为主的类别后,后者降至6.2%。作者特别强调这些是扫描器发现,而非经过验证的漏洞率。同一任务的不同运行之间测量分数存在差异,一个重建的ProgramBench运行还暴露出首次实现写入即引入且持续存在的发现。修复案例研究表明可降低扫描器信号并保持测试行为,但也揭示了对等价API重写的敏感性。SDLI为同时研究任务进展与安全发现提供了方法,但其用于引导智能体和确认可利用漏洞的价值仍有待建立。

💡 推荐理由: 智能体生成的代码安全不能只看最终提交;中间状态的安全债务会持续累积。该工作给出可量化的轨迹级指标,提醒安全团队将SAST前移到每一步测试通过的时刻,并谨慎解读多工具扫描结果。

🎯 建议动作: 研究跟进 / 纳入内部评估

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Arshak Rezvani, Sasha Behrouzi, Ahmad-Reza Sadeghi

该论文关注大语言模型代码生成中的安全弱点问题:模型可以产出功能正确、但隐含安全缺陷的代码,因此业界倾向于采用「先诊断弱点类型、再决定修复方式」的两阶段修复流水线。Common Weakness Enumeration(CWE)为这类诊断提供了标准化词汇表,但让自回归语言模型直接生成 CWE 标签、再从自然语言响应中把标签抽取出来,会同时带来输出合法性、推理速度、调用成本与分类准确率四方面的不确定性。作者为此评估了 Jev——一个决策式(判别式)模型:它不从零生成标签文本,而是在预先声明的候选集合中直接做选择,并为每个候选返回一个概率分布。实验在受控的 50 类 CWE 分类任务上展开,测试集为 1,916 条 CyberSecEval 基准样本,对照对象包括六个开源权重自回归模型以及一个前沿专有模型 GPT-5.6-Sol。结果显示:Jev 在所有分类与排序指标上均优于六个开源基线;与 GPT-5.6-Sol 的比较则依指标而异——GPT-5.6-Sol 的 Top-1 准确率与 Macro-F1 更高,而 Jev 的 Top-3、Top-5 准确率更高、MRR 几乎持平,同时其中位 API 延迟低 6.27 倍、估算 API 成本低 55.9 倍。在此基础上,作者构建了 JevVibe:一个由诊断结果引导的修复代理(agent),使用 Jev 预测出的 CWE 标签去修复 Qwen2.5-Coder-32B-Instruct 生成的代码。当诊断由 Jev 提供时,代理把检测器测得的安全通过率从修复前的 63.5% 提升到 70.7%;作为对比,由 LLM 引导的修复仅达到 66.1%。论文由此论证 JevVibe 能有效提升生成代码的安全性,而 Jev 提供了可靠且高效的 CWE 分类能力。适合从事 AI 代码安全、LLM 应用安全与安全编码自动化研究的读者。

💡 推荐理由: 把 LLM 编码助手引入生产流水线的团队,普遍卡在「弱点诊断」这一环:既要标签准确,又要能承受大规模调用的成本与延迟。该工作给出了判别式 CWE 分类器在成本与延迟上大幅优于前沿模型的量化证据,并提供了一个可复现的修复闭环基线(安全通过率 63.5%→70.7%),对设计 AI 代码安全门禁与自动修复流程具有直接参考价值。

🎯 建议动作: 研究跟进:阅读原文以确认 Jev 的候选集构建方式、50 类 CWE 的选取范围与检测器口径;可在内部代码生成评估中复现「诊断引导修复」对照实验。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Sandeep Dhuri

该论文研究一个在受监管后端开发中反复出现却长期未被有效解决的问题:大语言模型生成的代码在安全与正确性检查上的通过率四年来几乎没有提升,而在金融、医疗、保险等受监管场景里,真正致命的缺陷类别集中在四类——金额运算(精度、舍入、货币单位)、时间处理(时区、夏令时、边界)、重试安全(幂等性)、访问控制。团队通常的应对方式是编写指令文件(instruction files),但迄今规模最大的对照研究显示这类做法并无收益。作者提出并检验一个更窄的假设:当提示词中携带一份“规格说明(specification)”——一段固定的前言,明确声明结果必须满足哪些性质——生成代码的质量会提升。研究采用预注册(pre-registration)方法,提前登记了假设、反驳条件(refuter)、分析代码以及“一次性生成、不得重试”的规则,以避免事后挑选结果。实验选取来自金融、医疗与保险实务的 50 个真实后端任务,交由来自五家不同厂商谱系的五个前沿模型执行,每个任务跑两次:一次裸提示(bare),一次在前面加上一段 267 词的、已填充的规格框架(specification frame)。评测使用九个基于 AST 的确定性检查器对输出打分,同时使用对框架毫不知情的 Bandit 安全扫描器做独立评分。结果显示:规格框架在全部五个模型上都降低了缺陷数(每任务平均减少 0.16 至 0.70 个发现,所有经 Holm 校正的符号检验均显著,所有 bootstrap 置信区间均不含零);在两臂结果不同的情形中,框架臂在 100 次里赢下 95 次;在任何领域、任何模型上都没有变差。Bandit 在裸臂发现 53 个中高危问题,在框架臂仅发现 11 个,且每个模型方向一致。效应在模型自身默认习惯最弱的地方最大,说明框架补足了模型欠缺的工程纪律。全部 500 份输出、提示词、检查器、评分代码与预注册材料均以 DOI 公开,任何团队都能自行复现而不必信任作者。

💡 推荐理由: 它给出了一个低成本、可复现的提示层缓解手段:在代码生成流水线中前置规格说明,能稳定减少金额、时间、幂等与访问控制四类高危缺陷,且不依赖特定厂商模型。对采用 AI 编码的受监管业务团队具有直接的工程与合规价值。

🎯 建议动作: 研究跟进并在内部代码生成流水线中试点规格说明框架

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.7)
👥 作者: Fares Trad, Simin Chen, Hung Viet Pham, Gias Uddin, Baishakhi Ray

随着基于大语言模型(LLM)的软件智能体(Agent)被广泛用于自动化程序修复(Automated Program Repair, APR),未来 APR 智能体很可能在没有多少人工干预的情况下自动修复缺陷,这引出了一个关键问题:在此类场景下,我们能否信任 APR 智能体产出的代码既功能正确又安全?如果攻击者针对生产环境中的 APR 智能体投喂看似正常、实则带有对抗意图的问题描述(issue),诱导智能体生成"功能正确但不安全"的补丁,会发生什么?本文通过一项实证研究首次系统性地回答了这些问题,包含三个步骤。第一,作者构建了 SWEADV 基准:以 SWE-bench Verified 中的 150 个修复任务为基础,为每个任务生成 5 条对抗性 issue 描述,分别对应五类攻击类型——命令执行、反序列化、路径穿越、拒绝服务以及弱哈希,合计 750 条对抗样本。第二,作者在 SWEADV 上评估了三种 LLM 后端(GPT-5-Mini、MiniMax-M2.5、DeepSeek-R)驱动的 mini_swe APR 智能体,发现平均有 51.7% 的案例中,对抗性 issue 描述在"修复成功"(即通过功能测试)的同时成功诱导出恶意行为,说明功能正确性与安全性在 APR 流程中被解耦。第三,作者检验了常规检测手段能否拦截这类恶意补丁:修复前使用 LLM-as-judge 审查对抗性 issue 描述,平均检测准确率仅 62.3%;修复后使用静态分析工具和 LLM-as-judge 审查对抗性补丁,平均准确率分别仅为 39.4% 和 55.4%。作者由此得出结论:鉴于 APR 智能体对对抗攻击的脆弱性,当前阶段尚不能将其可信地投入生产部署。该工作适合研究自动化程序修复、LLM 智能体安全、AI 代码生成供应链风险以及 CI/CD 自动化评审流程的读者。

💡 推荐理由: 大量团队正把 LLM 修复智能体接入缺陷修复与 CI/CD 自动提交环节,而该研究表明:仅凭"功能测试通过"判断补丁可信是危险的,且现有静态分析与 LLM 评审的检测率普遍不足 62%。这直接关系到自动补丁流水线的软件供应链安全与准入策略。

🎯 建议动作: 研究跟进,并将对抗性 issue 测试纳入内部 APR/代码智能体准入评估

排序因子: 有可用补丁/修复方案 (+3) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Weifeng Sun, Quanjun Zhang, Yuchen Chen, Chengran Yang, Gou Tan, David Lo

本文针对大型语言模型(LLM)在代码生成任务中可能复现不安全训练模式、生成漏洞代码的问题,首次系统性地研究了模型编辑(model editing)作为一种模型级安全硬化机制的有效性。与先前主要聚焦于推理时加固(如CoSec)的方法不同,模型编辑直接修改模型参数,无需额外辅助组件且不增加运行时开销。作者在多种LLM家族上评估了三种最先进的模型编辑方法,并与代表性推理时方法CoSec进行对比,考察了安全性、鲁棒性、泛化能力和功能正确性。实验发现,模型编辑在已见漏洞类型上比CoSec带来更大的安全收益,安全比例较原始模型提升15%-25%,且在提示扰动下保持稳定;然而,这些改进无法可靠迁移到未见漏洞,且可能降低功能正确性。为缓解这一权衡,作者提出了SafeEdit,一种结合功能调优和编辑感知正则化的编辑后优化方法。在八个目标LLM上,SafeEdit在T=0.1/0.4/0.8时相比UltraEdit将Pass@1分别提升了11.73/13.70/15.50个百分点,同时基本保持安全性。与CoSec相比,SafeEdit实现了7.54%-12.04%的相对安全比例提升。额外的CodeGuard+评估证实了联合安全且正确生成的改进。SafeEdit与CoSec具有互补性,组合使用可进一步提升安全性并保持强功能正确性。总体而言,本文为将模型编辑应用于安全代码生成提供了基于证据的指导。

💡 推荐理由: 为LLM安全代码生成提供了模型级硬化新思路,评测多种编辑方法的优劣,提出SafeEdit缓解安全-正确性权衡,对安全工程师选择防御策略有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Xiaoyun Xu, Lichao Wu, Jona te Lintelo, Siyu Zhang, Stjepan Picek

大型语言模型(LLM)在生成代码时频繁引入可利用的安全缺陷。现有防御方法通常依赖繁重的微调或外部知识检索,带来显著的计算开销和冗余代码示例导致的数据偏差。本文提出一种相反观点:预训练语料库中已包含丰富的安全知识,缺陷在于激活不足——缺乏明确、简洁的提示时,模型倾向于遵循训练分布中的常见模式,抑制了安全相关表征。为此,作者提出 SPARK,一个无需重新训练的推理时安全皮套,包含两个组件:组件 I 为每个编码任务检索相关的通用弱点枚举(CWE)条目,并将简短的结构化提示附加到 prompt 中,仅此即可激活模型已有的安全表征;组件 II 在每一步解码时向 logits 添加预计算的 token 偏置——该偏置通过对安全方向向量(平均安全隐藏状态与平均不安全隐藏状态之差)投影到语言模型头部获得,离线计算一次,推理时每生成一个 token 仅需一次向量加法。SPARK 在 C++、Java 和 Python 上对 9 个开源模型进行评测,与 7 个基线(包括微调和检索增强方法)对比,在所有设置中匹配或超越最佳基线,同时保持 HumanEval 代码功能正确性。此外,还在黑盒环境下对 7 个最强闭源模型(包括 Claude、DeepSeek 和 GPT)测试组件 I,证实了不安全代码生成的瓶颈以及本方法带来的改进。该工作表明,通过轻量级推理时干预激活 LLM 内生的安全知识,可以高效提升代码安全性,为安全代码生成提供了新范式。

💡 推荐理由: 本工作揭示了LLM安全代码生成的核心瓶颈在于知识激活而非知识缺失,提出的轻量推理时方法无需重训练即可显著提升代码安全性,对安全开发流程和LLM安全研究具有重要启发。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)