Refusal Before Decoding: Detecting and Exploiting Refusal Signals in Intermediate LLM Activations
本文研究了大型语言模型(LLM)在解码前是否可以通过中间层激活状态预测拒绝行为。作者使用线性探针(linear probes)对每个Transformer模块的残差流(residual stream)激活进行训练,发现拒绝行为在最终层之前的
今日共收录 1277 条安全情报,包含 517 个 CVE,386 篇安全通告,以及 105 篇研究论文。
← 返回归档列表本文研究了大型语言模型(LLM)在解码前是否可以通过中间层激活状态预测拒绝行为。作者使用线性探针(linear probes)对每个Transformer模块的残差流(residual stream)激活进行训练,发现拒绝行为在最终层之前的
本文针对大语言模型(LLM)集成到现代软件系统中引入的新型安全风险——LLM-in-the-loop 漏洞——进行了系统性的研究。作者指出,尽管已有一些基准数据集用于分析这类漏洞,但多数工作仍停留在传统软件层面,忽略了 LLM 实际造成的危
这篇论文提出了一种名为 BiCoT 的水印框架,专门针对具备思维链(Chain-of-Thought, CoT)推理能力的大型语言模型,旨在保护其作为知识产权的价值。现有的黑盒水印方法通常通过扰动最终答案或依赖脆弱的触发模式来嵌入水印,但这
本文提出了AgentGuard,一个针对基于LLM的智能体(Agent)在使用工具时面临的安全风险的属性基访问控制框架。LLM驱动的智能体能够自主调用外部工具完成复杂任务,但这也带来了严重的安全威胁,如隐私泄露、财务损失甚至系统完全受控。A
该论文聚焦于大语言模型(LLM)在微调过程中安全性对齐被削弱的问题,特别是针对有害微调攻击(harmful fine-tuning attack)的防御。有害微调攻击通过注入对抗性数据,移除模型的安全防护并诱导不安全行为。作者提出了一种名为
该论文对基于RAG(检索增强生成)的推荐系统中的提示注入攻击进行了重新评估。先前的研究(GEO,生成式引擎优化)声称通过提示注入攻击可以将目标产品推至LLM推荐列表顶部,成功率约80%,但假设被攻击的文档总是直接传递给生成器,忽略了检索器和
该论文针对大型语言模型(LLM)面临的对抗性提示攻击(如越狱、提示注入)提出了一种新颖的防御框架——对抗性提示解纠缠(APD)。研究背景指出,攻击者利用语义歧义绕过安全机制,导致有害输出,对安全关键型应用构成威胁。APD框架包含三个核心创新
本文提出一种名为Poison-with-Style (PwS)的实用且隐蔽的模型投毒攻击,针对代码大语言模型(CLLM)。与以往假设攻击者能够在推理时主动将显式触发器(如特定单词)嵌入开发者提示中的攻击不同,PwS利用开发者的代码风格作为隐
随着人工智能(AI)和机器学习(ML)在医疗系统中的广泛应用,针对这些系统的安全风险日益突出,尤其是攻击者可能通过系统组件中的漏洞注入虚假数据,导致误诊甚至错误治疗。然而,由于系统组装部分依赖于最终用户的实际使用场景,这些风险在设计阶段难以
这篇立场论文指出,人工智能/机器学习社区应停止过度声称并放弃“正向后门”这一标签,而应将触发激活的隐藏行为视为“秘密对齐”。核心论点是:基于秘密对齐的保护声明在没有经过严格、标准化评估的情况下,默认应被视为不安全。随着模型权重公开和训练/推
### Impact Federation peer registration accepted peer key material during registration without a separate administrator
### Impact A single configuration flag could disable plugin signature enforcement. If an operator unintentionally carrie
### Impact Stigmem nodes with federation enabled could be configured to run without mTLS outside loopback-only local dev
### Impact Postgres backend schema identifiers were interpolated into SQL strings. In the reviewed code path the schema
### Impact A mismatch in federation peer-token timestamp handling could cause valid peer tokens to be treated as expired
### Impact Applications that call `OptionalConverters.WithExpandoObjectConverter` and deserialize untrusted data are op
Nerdbank.MessagePack deserializers for many collection-shaped types trusted the element count declared in MessagePack ar
### Impact Several denial-of-service issues were identified in `go-git` when parsing maliciously crafted Git repository
### Impact In versions of uv prior to 0.11.15, when installing a distribution containing an entry point specification (
### Summary When a tar stream contains multiple "header" entries prior to a file entry, tar-rs applies the PAX header (