Backchaining Loss of Control Mitigations from Mission-Specific Benchmarks in National Security
本文针对高风险部署场景（如国家安全）中的失控（Loss of Control, LoC）威胁，提出一种基于任务特定基准的反向链式缓解方法。研究背景是，在国防和情报等国家安全领域部署AI系统时，权限和许可（affordances and pe
#LLM
共收录 2152 条相关情报。
← 返回所有主题An Evidence-driven Protocol for Trustworthy CI Pipelines
本文针对企业软件供应链中基础设施攻击日益增多、软件制品完整性和来源验证困难的问题，提出了一种基于证据的可信持续集成（CI）管道协议。该协议结合确定性构建系统（DBS）和可信执行环境（TEEs），为分布式环境下的CI制品提供密码学可验证的完整
GenAI-Driven Threat Detection with Microsoft Security Copilot
该论文针对当前日益复杂的网络攻击环境下，安全分析师需要不断将攻击者不断演进的战术转化为检测逻辑，导致防御者处于被动应对状态的问题。作者提出了一种名为动态威胁检测代理（DTDA）的持续自适应系统，该系统集成于Microsoft Securit
An Application-Layer Multi-Modal Covert-Channel Reference Monitor for LLM Agent Egress
该论文提出了一种针对大语言模型（LLM）代理出口流量的应用层多模态隐蔽信道参考监视器。研究背景是：LLM代理在发送消息时可能泄露数据，传统的目标允许列表和内容扫描器无法检测看似正常的载荷是否构成隐蔽信道。例如，被攻陷的代理可以将比特编码在零
Heartbeat-Bound Hierarchical Credentials: Cryptographic Revocation for AI Agent Swarms
该论文针对自主AI代理生成子代理集群时存在的安全漏洞——现有凭证撤销机制（如OAuth 2.0 introspection、OCSP、W3C状态列表）需要与中心权威机构网络连接，导致操作员关闭后“僵尸代理”仍可执行特权操作数分钟至数小时——
Security Document Classification with a Fine-Tuned Local Large Language Model: Benchmark Data and an Open-Source System
本文解决了组织在扫描文档敏感信息时面临的实际问题：云服务需要将数据发送到外部基础设施，而基于规则的检测工具往往漏掉依赖上下文的威胁。为此，作者提出了TorchSight——一个基于微调本地大语言模型（Qwen 3.5 27B）的开源安全文档
Pramana: A Protocol-Layer Treatment of Claim Verification in Autonomous Agent Networks
该论文提出了Pramana，一个用于自治代理网络中的声明验证的协议层解决方案。在受监管领域中，自主代理对每个关键输出必须产生一个可审计的验证工件，记录声明内容、来源、执行者、时间和方式。当前的生产验证分为两个未标准化的方向：概率性判决模式（
LLM Benchmark Datasets Should Be Contamination-Resistant
本文探讨了大型语言模型（LLM）基准数据集被预训练语料库污染的问题。污染导致基准数据集无法可靠衡量模型的泛化能力。作者提出基准数据集应具有“抗污染”特性，即数据集对训练不可学习（unlearnable），但支持推理（inference）。为
Measuring Safety Alignment Effects in Autonomous Security Agents
该论文研究了安全对齐语言模型及其未审查或消融版本在作为自主安全代理运行时的行为差异。传统的单轮拒绝基准无法评估代理的实际情况，因为安全代理需要检查代码仓库、调用工具并在授权沙箱中生成漏洞证据。作者提出了一个基于追踪的基准测试，包含30个本地
SCARA: A Semantics-Constrained Autonomous Remediation Agent for Opaque Industrial Software Vulnerabilities
关键基础设施运营商日益需要评估和修复已部署工业软件中的漏洞。然而，许多工业软件属于不透明工业软件（OIS），包括剥离符号的固件、专有协议处理器以及无源代码、无符号表、无构建环境或硬件接口的编译控制逻辑。虽然二进制分析可以识别漏洞候选，但现有
Adaptive Probe-based Steering for Robust LLM Jailbreaking
本文提出了一种基于自适应探测导向的鲁棒大型语言模型（LLM）越狱方法。现有对比导向攻击依赖于有限且存在固有偏见的对比提示，并需要繁琐的手动调整导向强度，导致鲁棒性和有效性不足。作者借鉴模型提取的思想，通过学习的导向向量逼近理想导向向量，并基
High-Rate Public-Key Pseudorandom Codes for Edit Errors
本文研究公钥伪随机码（PRC）对抗编辑错误的问题。伪随机码由Christ和Gunn在CRYPTO 2024提出，是一种纠错码，其码字在计算上无法与均匀随机字符串区分，但持有密钥的人可以解码。这一特性为鲁棒且不可检测的水印提供了自然原语，尤其
On Large Language Models' Resilience to Coercive Interrogation.
该论文研究了大型语言模型（LLM）在面对强制性审讯（coercive interrogation）时的韧性。强制性审讯是一种对抗性交互，攻击者试图通过重复、施压或诱导等方式迫使模型生成违反其初始对齐或安全约束的输出。作者提出了一种系统性的评
From Virtual Touch to Tesla Command: Unlocking Unauthenticated Control Chains From Smart Glasses for Vehicle Takeover.
本论文研究了可穿戴设备与自动化控制系统交叉领域的安全漏洞，特别聚焦于以智能眼镜为入口点，揭示在未经用户验证或交互的情况下接管安全关键自动化控制链的威胁。作者发现，当安全机制仅依赖入口点安全且对先前节点完全信任时（例如自动化控制链中的 App
RoboJailBench: Benchmarking Adversarial Attacks and Defenses in Embodied Robotic Agents
本文提出 RoboJailBench，一个针对具身机器人中对抗性攻击与防御的标准化基准测试框架。研究背景：随着视觉语言模型（VLM）被集成到机器人、自动驾驶等物理平台，这类具身AI系统面临新型安全威胁。先前的攻击与防御研究依赖临时数据集、有
Exploring and Developing a Pre-Model Safeguard with Draft Models
本文针对大型语言模型（LLM）在面对 jailbreak 攻击时易产生不安全响应的问题，提出了一种基于预模型守卫的新型防御架构。现有防御方法分为两类：预模型守卫仅审计用户提示词，但容易漏检（假阴性率高）；后模型守卫同时审计提示词和模型响应，
Backdooring Masked Diffusion Language Models
该论文首次系统研究了掩码扩散语言模型（MDLM）在训练阶段的后门攻击。MDLM是一种新兴的文本生成范式，其训练时安全性尚未得到充分探索。现有的针对高斯扩散模型或自回归语言模型的后门攻击无法直接应用于MDLM，因为MDLM依赖于离散状态破坏和
Hallucination as Exploit: Evidence-Carrying Multimodal Agents
该论文提出了一种新型安全威胁：多模态智能体中的“幻觉即利用”（Hallucination as Exploit）。多模态智能体通过截图、文档、网页等视觉输入选择工具调用。当模型产生错误的视觉主张（如误认页面元素）并触发点击、邮件发送、数据提
On the Geometric Limits of Transformer Defenses against Obfuscation Attacks: Latent Embedding Collapse & Performance Robustness Gap
该论文揭示了当前基于检测的提示注入防御中存在的一个根本性盲区：高分类性能并不等同于表征鲁棒性。作者发现，当攻击者同时使用多种混淆操作（如同形字符替换、零宽字符插入、标点符号或表情符号噪声）时，被混淆的提示在预训练语言模型的嵌入空间中会部分坍
Agent Meltdowns: The Road to Hell Is Paved with Helpful Agents
本文首次系统性研究了大语言模型驱动的智能体（Agent）在正常环境错误下发生的“意外熔毁”（accidental meltdown）现象。作者指出，现有可靠性或安全基准测试并未捕捉此类行为。他们提出熔毁行为的分类学，包括未经授权的侦察、访问