Mechanistic Interpretability of LLM Jailbreaks via Internal Attribution Graphs
大型语言模型(LLM)尽管能力强大,但仍极易受到对抗性提示和越狱攻击。现有研究主要通过输入-输出行为或归因方法分析这些失败,对对抗性扰动如何改变模型内部推理机制的洞察有限,导致对不安全或错误行为背后的机制理解不足。本文提出了一种基于内部计算
共收录 2152 条相关情报。
← 返回所有主题大型语言模型(LLM)尽管能力强大,但仍极易受到对抗性提示和越狱攻击。现有研究主要通过输入-输出行为或归因方法分析这些失败,对对抗性扰动如何改变模型内部推理机制的洞察有限,导致对不安全或错误行为背后的机制理解不足。本文提出了一种基于内部计算
大型语言模型(LLM)在代码生成领域应用广泛,但其生成的代码往往存在功能缺陷或安全漏洞。现有研究要么分别评估功能性和安全性,要么侧重于生成后查找漏洞,而缺乏同时保证两者的方法。近年来,文本生成领域涌现出多种对齐技术,其中任务向量算术通过线性
本文针对LLM驱动的自动化攻击安全代理在执行任务时可能因越界调用工具而违反客户约定边界、破坏生产环境或导致漏洞赏金失效的问题,提出了预执行门控(pre-execution gating)方案。核心思想是在强代理执行工具调用之前,由一个轻量级
该论文针对工具型AI智能体的红队测试评估提出了一个关键问题:现有的二元攻击成功率指标(攻击成功或失败)忽略了防御者最需要的信息——即攻击造成的实际危害程度。作者设计了一个基于动作的分级危害量表(Action-Graded Harm Rubr
自进化智能体通过观察技能执行失败来淘汰不良技能,从而保持技能库的质量。然而,当智能体依赖无参考任务的LLM作为评判者时,评判者的偏见可能导致技能淘汰机制失效。本文通过有偏奖励分析,理论证明偏见并非简单增加噪声,而是会无声地关闭技能淘汰功能。
本文研究了一种针对智能体化大语言模型(LLM)应用的新型可扩展攻击——对抗性幻觉抢注(Adversarial HalluSquatting)。随着LLM应用越来越多地具备智能体能力(如集成终端、工具调用等),攻击者可通过提示注入(promp
该论文研究了使用工具的LLM智能体在策略许可环境中可能出现的静默策略违反失败模式。当工具执行任何格式正确的调用时,即使对应的状态转换被领域策略禁止,工具本身和智能体的自我报告都不会暴露错误,导致静默的错误状态(如预订取消、乘客数量更改、未经
该论文提出了一种针对网络诈骗中心理操纵的取证模式。现有的网络犯罪分类模式主要捕获联系元数据和金融交易,但忽略了犯罪分子使用的心理操纵技术。作者设计了一个包含4大类、35个问题的取证模式,在已有的取证基础之上增加了11个操纵指标和加密货币证据
本文分析了欧盟《网络弹性法案》(CRA)在网络安全AI代理(CAI)时代面临的根本性挑战。CRA的核心逻辑是:不要求产品完全没有漏洞,只要求制造商执行一个持续的安全流程——风险评估、漏洞处理、更新发布。该逻辑依赖于四个前提假设:(P1) 发
该论文针对多智能体LLM系统安全评估中存在的混淆问题,提出了一种五条件对照实验设计,以解构聚合管道效应背后的三种机制:有害意图被重构为合理操作、规划器拒绝或转换请求、以及执行者在暗示已获批准的委托提示下行动。研究基于30个合成有害场景和四个
该论文提出 SynapseFlow,一种基于状态机引导的自动化模糊测试 harness 生成工具,旨在解决现有大语言模型(LLM)单轮生成方法中因函数粒度过粗和生成流程错位导致的幻觉及覆盖率不足问题。SynapseFlow 的创新包括两点:
本文研究大型语言模型(LLM)作为网络入侵检测分类器时的对抗鲁棒性,重点关注现实攻击者约束下的脆弱性。作者提出了一种可控制性感知的黑盒迁移攻击框架,针对基于LLM的网络流量分类器。该框架根据网络通信语义将流特征划分为直接可控(DC)、间接可
该论文提出 REFORGE 方法,旨在系统评估大型语言模型(LLM)在反编译二进制函数命名中的逆向工程能力。当前 LLM 在逆向工程中的应用日益增多,甚至有威胁情报报告显示它们已被用于真实攻防场景,但现有基准测试存在根本性问题:它们将函数级
该论文关注基于LLM的多智能体系统(MAS)面临的安全挑战。现有防御方法通常假设攻击在语义上显式可识别,并依赖显式的图结构建模MAS拓扑和Agent间交互。然而,实际攻击越来越隐蔽,且MAS执行通常是异步的,不满足图传播模型所需的时间对齐。
该研究针对多模态大语言模型(MLLM)中的机器遗忘(Machine Unlearning)机制的安全性提出质疑。MLLM在训练时可能无意中编码了隐私敏感数据,因此多模态机器遗忘(MMU)被用于强制模型遗忘这些信息。但作者发现,当模型公开后,
该论文研究了分布式训练场景中的后门攻击防御问题。在联邦学习或去中心化训练中,模型所有者将训练任务外包给外部计算提供商,攻击者可能通过注入低频、隐蔽的触发器植入后门,同时规避常规审计。传统检测方法需要重新计算整个训练过程,计算开销极大,与所有
该论文系统性地评估了针对 Dart Ahead-of-Time (AOT) 编译二进制的神经反编译任务中,微调策略与评估指标的有效性。神经反编译将二进制代码转换为高级语言源代码,常被视为代码生成问题,但现有评估方法对现代语言支持不足。作者构
该论文提出了一种名为多通道扩频码水印(Multi-Channel Spread-Spectrum Code Watermarking)的新方法,用于解决大型语言模型(LLM)生成代码的归属问题。现有方案分为生成时水印和事后水印:生成时水印需
本文针对大语言模型代理(LLM agents)在执行任务时面临的完整性风险,提出了一种名为上下文到执行完整性(Context-to-Execution Integrity, CXI)的执行边界系统。LLM agents通常读取攻击者可写入的
该论文聚焦于网络入侵检测系统(NIDS)规则工程中的自动化挑战。随着网络威胁不断演化,手工编写NIDS规则已成为运维瓶颈。大型语言模型(LLM)虽展现出自动化规则生成的潜力,但其能否产出生产级规则尚未被验证。论文采用以人为中心的视角,首先形