Membrane: A Self-Evolving Contrastive Safety Memory for LLM Agent Defense
论文提出了Membrane,一种针对大型语言模型(LLM)代理的自我进化防御机制,旨在解决现有安全对齐方法无法适应持续演变的越狱攻击的问题。核心创新在于对比安全记忆(Contrastive Safety Memory, CSM)结构:每个记
今日共收录 1443 条安全情报,包含 665 个 CVE,387 篇安全通告,以及 120 篇研究论文。
← 返回归档列表论文提出了Membrane,一种针对大型语言模型(LLM)代理的自我进化防御机制,旨在解决现有安全对齐方法无法适应持续演变的越狱攻击的问题。核心创新在于对比安全记忆(Contrastive Safety Memory, CSM)结构:每个记
本文研究了大语言模型(LLM)在面对越狱攻击时的位置脆弱性。传统的基于优化的攻击方法(如贪婪坐标梯度下降 GCG)通常将对抗性 tokens 固定在提示语的末尾,忽略了在其他位置插入 tokens 的潜在影响。作者首先通过实验发现,提示语中
本文提出ZERO-APT,一个面向LLM驱动的自动渗透测试智能体的闭环对抗框架。现有评估通常在静态目标上进行,目标既不检测也不响应攻击,导致智能体在智能防御下的行为未经测试。此外,多步攻击链的因果一致性依赖于不稳定的LLM推理,且智能体决策
大语言模型(LLM)在自然语言处理领域取得了突破,但仍面临提示注入(Prompt Injection, PI)和越狱攻击(Jailbreak, JB)的严重威胁。现有基准评测可能受到数据污染和部分信息泄露的影响,导致性能估计不准确。本文提出
这篇论文提出了 SHIELDS,一个基于多智能体和大语言模型的自动化操作系统加固系统。针对安全配置错误这一导致系统被攻破的主要原因,传统方法依赖人工或静态预定义的修复脚本,效率低下且难以适应多样化环境。SHIELDS 将操作系统加固建模为一
该论文提出了CRESS(Common RE Scoring System)的量化扩展版本,用于评估硬件逆向工程(RE)攻击场景的严重性。硬件逆向工程在微电子系统的安全中扮演关键角色,涉及假冒、硬件木马、设备上攻击等。现有的CVSS(Comm
该论文针对基于学习的漏洞检测中标记数据瓶颈问题,提出利用abliteration技术解除安全对齐代码LLM的拒绝响应限制,使其能够根据指定CWE(如SQL注入)从安全代码生成带漏洞样本,从而将标注负担从开放式检测转为有界二元确认。作者以Py
随着ChatGPT等大型语言模型(LLM)的广泛部署,用户提示的隐私保护成为一个关键问题。现有隐私保护推理方法要么牺牲效用,要么牺牲效率,且通常需要特定于模型的修改,限制了兼容性。本文提出SharedRequest,一个模型无关的隐私保护L
本文提出了一种名为NLLog(自然语言日志)的轻量级异常检测管道,旨在解决系统日志因模板化格式导致自动化分析和人工理解困难的问题。NLLog通过确定性规则将解析后的日志模板重写为“谁-做了什么-严重程度”形式的自然语言句子,然后使用TF-I
该论文研究了大型语言模型(LLM)后训练阶段中的顺序数据投毒威胁。LLM的后训练通常包括多个阶段,例如监督微调(SFT)和基于人类反馈的强化学习(RLHF)或直接偏好优化(DPO)。现有文献通常假设每个训练阶段可能发生数据投毒攻击,但忽略了
该论文提出 TIBlender,一个基于多智能体系统的跨平台社交媒体威胁情报早期预警框架。当前,网络威胁信号分散在多个社交媒体平台(如 X、Reddit、Telegram 和 Discord),但现有方法未能完全自动化地将这些碎片化信息整合
该论文系统性地研究了深度研究代理(Deep Research Agents)在公共基准测试中因搜索时间污染(Search-Time Contamination, STC)导致的性能评估失真问题。深度研究代理在推理时会主动进行网络搜索,从而可
该论文系统性地研究了新兴的跨会话存储提示注入(Cross-Session Stored Prompt Injection)威胁,这是针对现代 Agentic 系统(基于 LLM 的自主代理系统)的一种攻击范式。传统提示注入攻击通常局限于单个
本论文研究了LLM智能体在将敏感凭证与不受信任的检索内容置于同一上下文窗口时,面临的间接提示注入导致凭证泄露的风险。作者提出了三种互补的防御方法:首先,利用激活探针在输出令牌生成前检测凭证访问行为,在开源模型上实现了对良性提示与凭证窃取提示
这篇论文针对大型语言模型(LLM)代理从简单的请求-响应助手向长期运行的软件参与者演进的趋势,提出了一种名为Agent libOS的运行时系统。长期运行的LLM代理需要在模型调用之间维护状态、分叉子任务、等待外部事件、请求人类授权、动态生成
该论文探讨了大型语言模型(LLM)在强化学习(RL)后训练阶段中可能出现的“奖励黑客”(reward hacking)行为如何扩展到更广泛的社会层面,即“社会黑客”(societal hacking)。作者指出,社会规则与奖励函数在结构上具
本文针对用户向云端LLM发送查询时的隐私泄露问题,提出了一种基于情境完整性(Contextual Integrity, CI)的查询重写方法。现有基于PII类型的脱敏方式忽略上下文,导致两类问题:过度暴露未标注的敏感上下文,或过度移除与回答
该论文研究了大型语言模型(LLM)在算术推理任务中对数值变化的鲁棒性问题。尽管LLM在基准测试中表现优异,但已有研究表明其对数值变化敏感:同一问题在不同数值下可能失败。现有方法多依赖模板或人工约束,局限性较大。为此,作者提出一种自动化的数值
基于大语言模型(LLM)的智能体通过与外部工具、检索系统、记忆模块、环境及其他智能体交互来解决复杂任务。这种能力扩展了智能体的自主性,但也使其行为更难以验证、调试和审计。仅依靠最终答案的准确性无法解释输出是如何生成的、每个主张由哪些证据支持
该论文针对大型语言模型(LLM)的对抗鲁棒性评估缺乏标准化基准的问题,提出了一种新的攻击方法——间接危害优化(Indirect Harm Optimization, IHO)。目前,LLM的越狱攻击评估存在诸多缺陷:攻击设计不完善会导致鲁棒