Beware EviLLM: Enabling Vulnerability Injection via Large Language Models
该论文研究了 AI 辅助代码生成(LLM 根据自然语言需求生成代码)场景下的一种新型供应链攻击面,作者将其命名为 EviLLM 攻击。此前相关研究多集中在两类不太现实的威胁模型:一是良性场景,即漏洞是 LLM 无意中引入的;二是非常规威胁模
共收录 26 条相关情报。
← 返回所有主题该论文研究了 AI 辅助代码生成(LLM 根据自然语言需求生成代码)场景下的一种新型供应链攻击面,作者将其命名为 EviLLM 攻击。此前相关研究多集中在两类不太现实的威胁模型:一是良性场景,即漏洞是 LLM 无意中引入的;二是非常规威胁模
该论文聚焦于一个现实痛点:自然语言描述访问控制需求易于人读,却难以直接落地为机器可执行的策略代码,而让大模型一次性生成策略往往在编译、语义与安全边界上频繁出错。作者提出并实现了一套基于 LLM 的模块化端到端管线,把自然语言访问控制策略(N
该论文针对物联网(IoT)设备密码工程安全领域缺少专用评测基准的空白,提出了 CESBench。研究背景在于:对 IoT 设备而言,仅有安全的密码算法远远不够——拥有物理接触能力的攻击者可以直接攻击实现本身(如侧信道、故障注入),而实现缺陷
背景与问题:LLM 编码智能体(coding agent)如今能够以远超人工审查速度的规模生成复杂程序,这带来了显著的安全与可靠性风险。常见检测手段——模糊测试、静态分析、LLM-as-a-Verifier——虽然能发现大量缺陷,但难以覆盖
该论文提出 CS-Guard——据作者所述是首个系统性评估「代码生成安全护栏(guardrail)」的基准测试框架。研究背景是:大语言模型已被滥用于生成恶意软件,但现有护栏在代码生成场景下的实际防护效果缺乏系统量化。CS-Guard 从两个
该论文提出 CodePoisonRAG,一种针对检索增强代码生成(RACG)系统的上游知识投毒攻击框架。RACG 通过检索外部代码、文档和补丁并融入生成上下文来提升 LLM 的代码生成能力,但这种对外部知识的依赖引入了新的信任边界:攻击者可
该论文研究使用大语言模型(LLM)从规范自动生成系统代码的安全问题。近期许多工作将规范视为持久工件,实现代码作为一次性产物,可随工作负载和设备变化而再生成;其隐含前提是运行环境宽容:组件的外部可见效果(如设备写入、命令)可恢复,生成器是诚实
本文提出了 GraftyVul,一个通过将真实世界漏洞“嫁接”到开源项目中来自动构造含漏洞程序的数据集生成系统。现有漏洞数据集通常难以同时满足多样性(语言和漏洞类型)、可复现性与可执行性以及真实性这三项要求:部分数据集使用人工构造或合成代码
该论文针对大语言模型(LLM)生成的寄存器传输级(RTL)代码的安全性展开研究。与软件代码不同,RTL 代码一旦流片(tape-out)到硅片上便无法修补安全漏洞,因此其安全性至关重要。现有研究主要关注 LLM 生成软件代码的安全问题,而
本文针对大型语言模型(LLM)在代码生成任务中虽然能实现功能正确性,却常常产生包含安全漏洞的代码这一问题,提出了一种基于多智能体协作的代码生成框架 MACGen。作者指出,安全代码生成本质上是一个多目标优化问题,需要同时兼顾功能正确性与安全
该论文提出了SecDrift基准测试,用于测量大语言模型(LLM)在生成代码时,针对不同行业领域的提示(如关键基础设施)相对于中性基线所产生的安全性漂移。作者从CISA定义的8个关键基础设施行业和9个CWE漏洞类别出发,对7个LLM(其中6
本文评估了大型语言模型(LLM)在自动生成安全认证代码方面的能力。研究选取了五种主流AI编码助手,通过双模态评估框架(静态代码分析结合动态渗透测试)并参照NIST SP 800-63B指南,分析了四种提示策略(基础、安全、NIST引导、迭代
本论文聚焦于大型语言模型(LLM)在代码生成中的安全性问题,指出现有基准测试往往依赖明确指定的安全需求,无法覆盖真实开发中提示词模糊或不完整的场景。作者从开发者视角出发,识别出三类典型风险场景:模糊需求(Ambiguous Requirem
本研究首次系统性地实证探讨了基于大语言模型(LLM)的代码生成系统中长期记忆(Long-Term Memory)存储不安全编码偏好对安全性的影响。长期记忆旨在提升跨会话的连续性,但一旦不安全的编码偏好被存储,可能会在后续生成中潜移默化地影响
大型语言模型(LLM)在代码生成领域应用广泛,但其生成的代码往往存在功能缺陷或安全漏洞。现有研究要么分别评估功能性和安全性,要么侧重于生成后查找漏洞,而缺乏同时保证两者的方法。近年来,文本生成领域涌现出多种对齐技术,其中任务向量算术通过线性
该论文系统性地评估了针对 Dart Ahead-of-Time (AOT) 编译二进制的神经反编译任务中,微调策略与评估指标的有效性。神经反编译将二进制代码转换为高级语言源代码,常被视为代码生成问题,但现有评估方法对现代语言支持不足。作者构
大型语言模型(LLM)正在迅速改变软件开发,但其在安全关键场景中的应用引发了一个关键问题:模型是否知道其生成的代码何时不安全?这种属性被称为校准(calibration),衡量模型的置信度是否与其输出的真实正确性一致。本文首次对LLM生成代
本文是一篇关于人工智能安全代码生成(AI Secure Code Generation)的系统化知识综述(SoK)。随着AI系统越来越多地用于代码生成,如何确保其生成代码的安全性成为核心问题。现有研究尝试了提示工程、微调、强化学习以及基于a
大型语言模型(LLM)越来越多地用于代码生成,但可能被滥用以产生恶意代码。语法约束解码(GCD)是一种旨在通过强制语法有效性来提高LLM生成代码可靠性的技术。本文揭示了一个反直觉的风险:这种面向可靠性的技术本身可能成为攻击面。作者提出了一种
大型语言模型在指令-代码对上进行微调时,可能会记忆并泄露敏感的训练数据。现有的差分隐私(DP)代码生成方法主要保护代码片段,但假设提示(prompt)是公开的,这无法应对现实场景中提示也可能包含敏感信息的情况。当提示在生成过程中不能被显式学