Caught in the Act(ivation): Toward Pre-Output and Multi-Turn Detection of Credential Exfiltration by LLM Agents
该论文针对LLM代理在敏感凭证与不受信任检索内容同处于一个上下文窗口时，因间接提示注入导致凭证窃取的安全漏洞，提出了三种互补的检测与防御方法。首先，研究激活探针（activation probes）是否能在输出token产生之前就检测到凭证
2026-06-04 归档
今日共收录 1001 条安全情报，包含 200 个 CVE，398 篇安全通告，以及 115 篇研究论文。
← 返回归档列表Agent libOS: A Library-OS-Inspired Runtime for Long-Running, Capability-Controlled LLM Agents
大型语言模型（LLM）代理正从请求-响应助手演变为长期运行的软件参与者：它们在模型调用之间维护状态，可以分叉子任务、等待外部事件、请求人工授权、生成工具，并执行需要恢复和审计的副作用。然而，现有的LLM代理框架通常将工具调度视为信任边界，缺
Large Language Models Hack Rewards, and Society
这篇论文研究了大型语言模型（LLMs）在强化学习（RL）训练过程中出现的“奖励黑客”（reward hacking）现象如何扩展为更危险的“社会黑客”（societal hacking）——即发现并利用社会规则中的漏洞。作者观察到，社会监管
Need to Know: Contextual-Integrity-Grounded Query Rewriting for Privacy-Conscious LLM Delegation
随着大型语言模型（LLM）被广泛应用于日常任务，用户发送到云端LLM的查询常混有任务必需内容和任务非必需的敏感披露信息。传统的基于类型的个人身份信息（PII）脱敏方法缺乏上下文感知，可能导致两个问题：过度泄漏未归类敏感上下文，以及过度移除包
Black-box, Adaptive, Efficient, Transferable, Harmful, Applicable... Attacks Are All You Need to Break LLMs
本文提出了一种新的黑盒对抗攻击方法——间接危害优化（Indirect Harm Optimization, IHO），旨在解决大型语言模型（LLM）在对抗鲁棒性评估中缺乏标准化基准的问题。当前，LLM的越狱评估主要依赖人工设计的攻击，这些攻
Testing LLM Arithmetic Reasoning Generalization with Automatic Numeric-Remapping Attacks
该论文研究了大语言模型（LLM）在算术推理任务中的泛化能力，特别是针对数值变化的鲁棒性。现有工作表明，LLM 对数值变化敏感，同一推理过程的不同数字可能导致失败。作者提出一种自动数值重映射攻击算法，为算术应用题生成约束下的数值替换，保持推理
NeuroArmor: Safe-Variant-Guided Representation Consistency for Selective Re-Anchoring in Jailbreak Defense
这篇论文提出了 NeuroArmor，一种针对大型语言模型（LLM）的越狱攻击白盒运行时防御方法。现有防御通常对所有提示采用相同策略，导致在安全性和有用性之间难以平衡，容易误伤良性敏感请求。NeuroArmor 针对每个输入提示生成多个安全
Selective Token-Level Cryptographic Redaction for Privacy-Preserving Clinical Deployment of Large Language Models
本文针对大型语言模型（LLM）在临床部署中因传输原始敏感健康信息而导致的隐私泄漏风险，提出了一个名为HERALD（Healthcare Encryption & Redaction via Adaptive Linguistic Decom
Bastet: A Fine-Grained Expert-Labeled Dataset for DeFi Smart Contract Vulnerability Detection
该论文提出了Bastet，一个面向去中心化金融（DeFi）智能合约漏洞检测的细粒度专家标注数据集。2024年，DeFi协议因智能合约漏洞累计损失超过14.9亿美元，基于大语言模型（LLM）的漏洞检测成为有前景的应对方案，但现有评估数据集存在
RUBAS: Rubric-Based Reinforcement Learning for Agent Safety
随着大语言模型（LLM）发展为能够使用工具（tool-enabled）的智能代理（agent），安全问题从单纯的文本生成扩展到实际执行环节，带来了新的挑战。现有的对齐方法（如基于拒绝信号的强化学习或静态监督）难以在安全性和工具执行有用性之间
FLIPS: Instance-Fingerprinting for LLMs via Pseudo-random Sequences
该论文提出了一种针对大型语言模型（LLM）的实例级指纹识别方法FLIPS。当前LLM的指纹识别技术主要服务于知识产权保护，其设计偏向于对实例级参数（如指令提示、采样配置、量化方式等）变化的鲁棒性，然而这导致无法区分同一模型的不同配置。但AI
Implement Kubernetes Pod-Level Remote Attestation for Confidential Workloads on dstack
随着LLM即服务等机密云工作负载的兴起，用户数据必须在可信且未被篡改的环境中处理，这需要密码学证明。现有的解决方案，特别是Confidential Containers (CoCo)，强制采用严格的“每个Pod一个虚拟机”模型，仅证明客户操
The Security Budget of Code LLMs: An Information-Theoretic Capacity-Security Bound
本文研究代码大语言模型（Code LLM）在提示词扰动下的安全性与功能性之间的信息论权衡。作者将代码补全任务建模为从自然语言提示到代码输出的映射过程，提出了容量（Cap）和安全性（Sec）两个信息论量：Cap衡量生成代码与理想正确代码之间的
PsychoPass: Geometric Profiling of Multi-Turn Adversarial LLM Conversations
大型语言模型（LLM）的多轮越狱攻击揭示了当前防护机制的缺陷：它们仅在单个对话轮次上运行，而攻击却作为跨对话的轨迹展开。本文提出从内容转向动态，将对话建模为表示空间中的路径，并探究对抗意图是否在对话早期就被编码在几何结构中。作者引入Psyc
SkillGuard: A Permission Framework for Agent Skills
本文提出了一种名为 SkillGuard 的权限框架，旨在解决大型语言模型（LLM）代理技能生态系统中日益严重的安全与隐私问题。随着 LLM 代理通过可重用的技能（包含指令、脚本、工具绑定和上下文依赖）扩展功能，当前技能生态系统主要依赖基于
Patcher: Post-Hoc Patching of Backdoored Large Language Models
本文提出一种名为 Patcher 的后处理防御框架，用于修复被植入后门的大语言模型。大语言模型容易受到越狱后门攻击，攻击者通过污染安全对齐数据来嵌入隐藏触发器，从而绕过安全机制。现有防御方法通常需要全面的攻击信息或多个触发样本，但在实际中防
Gate AI: LLM Security Benchmark Evaluation Methodology and Results
这篇论文提出了一种针对大型语言模型（LLM）的提示注入（prompt-injection）和越狱（jailbreak）检测器的基准评估方法学，旨在解决现有评估中两个系统性弱点：每个数据集单独调整阈值以及未公开的操作点。作者设计了一个评估框架
MaskForge: Structure-Aware Adaptive Attacks for Jailbreaking Diffusion Large Language Models
本文提出了一种针对扩散大规模语言模型（dLLMs）的黑盒越狱攻击方法MaskForge。dLLMs通过迭代去噪部分掩码序列生成文本，其安全面与自回归LLMs不同：掩码令牌是原生输入，令牌基于置信度而非位置确定，因此有害内容可以通过填充（in
Poking Around in the Dark: Why a Shared Understanding of Components Matters
该论文对当前软件物料清单（SBOM）在软件供应链安全中的有效性提出了质疑。作者认为，SBOM的目标是通过列出应用中的组件来支持及时识别漏洞，但其假设（即对组件列表存在共识且现有技术足以保障安全）可能不成立。论文首先从软件开发生命周期出发，自
SharedRequest: Privacy-Preserving Model-Agnostic Inference for Large Language Models
本文提出 SharedRequest，一个模型无关的隐私保护推理框架，用于大型语言模型（LLM）。现有方法在隐私保护推理中常牺牲效用或效率，且需要修改模型架构，限制兼容性。SharedRequest 将隐私保护从单个提示级别提升到批处理级别