StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety-Utility Balancing
该论文提出了一种面向 LLM 智能体的步骤级防护模型 StepGuard。研究背景是:基于大语言模型的智能体能够通过工具调用与外部环境交互,但这也引入了诸如文件修改、信息泄露、未授权操作等安全风险。现有的防护机制通常只对完整轨迹进行事后评估
今日共收录 1656 条安全情报,包含 834 个 CVE,420 篇安全通告,以及 108 篇研究论文。
← 返回归档列表该论文提出了一种面向 LLM 智能体的步骤级防护模型 StepGuard。研究背景是:基于大语言模型的智能体能够通过工具调用与外部环境交互,但这也引入了诸如文件修改、信息泄露、未授权操作等安全风险。现有的防护机制通常只对完整轨迹进行事后评估
这篇论文研究的是大语言模型(LLM)智能体(agent)在集成外部资源时面临的安全漏洞——提示注入攻击。由于智能体的决策过程依赖统一的自然语言上下文通道,不可信的外部数据可能在推理过程中被动态解析为行为引导指令,从而劫持智能体的工具调用行为
该论文针对大型语言模型(LLM)从自然语言提示生成代码时的安全问题展开实证研究。尽管结构化、面向安全的提示词被广泛采用,以鼓励模型生成更安全的代码,但其实际效果并未得到系统验证。作者使用424个安全敏感的Python编程任务,在GPT-4o
该论文提出 SeriCrypt,一个由大语言模型(LLM)驱动的、上下文感知的密码协议序列化框架。研究背景是:在协议状态机学习、一致性测试和模糊测试中,构造语法正确且密码学上有效的消息序列至关重要。然而,与传统明文协议不同,密码协议涉及复杂
本文研究一个关键问题:系统提示(system prompt)可以以超过80%的成功率从商业大语言模型(LLM)中提取,并被零成本重新部署,但提示词所有者无法验证某个可疑部署是否使用了克隆的提示词。为此,作者提出了黑盒行为指纹识别(Black
本文研究如何利用现成的大语言模型(LLM)增强 Android 应用的污点分析(taint analysis)。传统静态污点分析工具(如 FlowDroid)在精确建模 Android 框架时存在已知难点,导致对组件间通信、隐式流、反射等场
随着 W3C WebMCP 提案的出现,LLM 代理可以调用网页暴露的工具,实现更丰富的浏览器自动化。然而,在多方参与的 Web 环境中,现有的浏览器安全模型以同源策略 (SOP) 为中心,并未为代理可访问的工具提供足够的身份验证和生命周期
本文针对大型语言模型(LLM)安全对齐的脆弱性问题,提出了一种名为 NeuronGuard 的防御方法。当前攻击手段日益多样,越狱攻击通过精心构造的提示词绕过安全机制,而神经元级攻击则可以在模型部署后直接剪除对安全至关重要的神经元。这两类攻
本文研究了一个可用的安全问题:在 Claude Code 的配置文件 CLAUDE.md 中,安全规则通常以自然语言形式编写,例如“不要做某操作”,但模型对这些规则的解释并不等同于内置控制机制(如 deny 列表、权限规则、沙箱等)的强制约
随着大语言模型(LLM)智能体在部署中越来越多地引入记忆子系统,以实现持久化的个性化与交互连续性,一个关键的安全问题随之浮现:记忆系统是否会为智能体引入新的攻击面?本文提出了一种名为 InjecMEM 的新型记忆注入攻击范式,攻击者仅需与智
本文研究基于 Gumbel 的推理验证方法在面对对抗性提示分布时的安全性。在大型语言模型(LLM)的部署场景中,防止模型权重被攻击者通过推理输出隐式外泄是一个重要课题。基于 Gumbel 的推理验证机制通过约束模型输出的 token 选择,
本文提出 CyberFactory,一个面向网络安全领域的统一开源框架,用于连接数据构建、轨迹合成和模型训练,解决现有开源 LLM 安全能力不足的问题。当前闭源模型(如 Mythos)在网络安全任务上表现优异,但开源方案存在三个瓶颈:先进开
本文针对物联网(IoT)设备面临的持续网络攻击,提出了一种基于验证引导的规范合成框架,用于自动生成入侵检测系统(IDS)规则。当前将观测到的攻击流量转化为可部署的 Suricata 规则主要依赖人工,而现有基于大语言模型(LLM)的方法通常
本文研究了大语言模型(LLM)在复杂生态系统(如代码代理)中面临的间接提示注入(Indirect Prompt Injection, IPI)攻击的防御问题。IPI攻击利用模型无法区分“指令”与“数据”的固有弱点,通过恶意注入的指令操纵模型
本文提出了一种针对黑盒大语言模型(LLM)服务的响应自适应指纹识别方法 AdaptPrint。黑盒 LLM 服务已成为实际部署的常见范式,但其不透明性阻碍了安全风险的系统评估,也给模型所有者的版权审计带来困难。黑盒 LLM 指纹识别通过查询
本文系统研究了硬件黑客竞赛在复杂片上系统(SoC)安全验证中的应用。随着SoC设计复杂度不断提升,传统验证方法难以覆盖所有安全漏洞,硬件黑客竞赛成为一种实用化的安全评估平台,能够促进安全意识验证和工具开发。作者提出了一种多策略漏洞分析方法,
本文是一篇来自工业界的案例研究,旨在解决软件漏洞严重性评估的可扩展性与隐私问题。当前安全分析师手动分配CVSS评分的方式难以应对漏洞数量增长,且传统方法常依赖云端LLM服务,存在代码片段泄露的机密性风险。为此,作者提出利用本地可部署的开源L
该论文研究了LLM编码代理(coding agents)中技能(skill)机制带来的新型资源滥用威胁——令牌放大攻击。技能是为编码代理扩展任务特定指令、脚本和资源的机制,但同时也创建了一个可信指令通道,可能被恶意利用。作者提出SkillB
本文对本地部署大语言模型(LLM)的输入侧越狱防御机制进行了系统性审计。研究背景是:通过Ollama等推理引擎本地部署的LLM,缺乏API服务模型所具备的内容审核与滥用检测机制,因此模型安全性完全依赖于防御手段,而防御手段的有效性取决于其设
孟加拉语(Bangla)大语言模型的安全评测长期依赖英语中心或标准拼写基准,但真实用户常混用多种书写形式,包括标准孟加拉语、罗马化孟加拉语、Banglish(孟加拉语与英语混合)、代码混合孟加拉语-英语、噪声拼写及方言变体,导致现有安全评测