The Framing Gap: Indirect Prompt-Injection Exfiltration Defeats Surface-Level Defenses in Tool-Using Agents
本文研究工具型 LLM 代理在面对间接提示注入攻击时的防御失效问题。所谓间接提示注入，是指代理在读取攻击者控制的网页内容时，这些内容可能诱使代理泄露其持有的机密信息。作者在安全合成实验室环境中（包含金丝雀机密、模拟工具以及匹配的干净/投毒指
#LLM
共收录 2152 条相关情报。
← 返回所有主题The Guard That Cried Wolf: How Scary Words Make Agent Guardrails Refuse Legitimate Actions
该论文聚焦于 LLM 代理系统中的护栏（guardrails）过度安全（over-safety）问题。护栏在 LLM 执行每个操作前进行批准或拒绝，然而它们有时会拒绝本应安全的授权操作，这种过度保守的行为会阻碍系统在真实场景中的部署。论文指
LLMs in the SOC: An Empirical Study of Human-AI Collaboration in Security Operations Centres.
本文是一篇关于安全运营中心（SOC）中人类与AI协作的实证研究。研究背景是，随着大语言模型（LLM）在安全分析工具中的快速集成，理解人类分析师如何与这些AI系统实际协作变得至关重要。然而，目前缺乏针对真实SOC环境中人机交互模式的系统性、实
Incalmo: an Autonomous Llm-Assisted System for Red Teaming Multi-Host Networks.
本文针对企业级多主机网络红队测试中依赖人工专家、成本高昂且难以扩展的问题，提出利用大语言模型（LLM）自动化执行红队演练。作者首先系统评估了现有最先进的LLM辅助攻击系统（如PentestGPT、CyberSecEval3）结合顶级LLM（
From Perception to Protection: A Developer-Centered Study of Security and Privacy Threats in Extended Reality (XR).
本文是一项针对扩展现实（XR）应用开发者的安全与隐私威胁认知研究，属于人因安全与隐私领域。XR 的沉浸式特性带来了传统范式难以缓解的全新安全与隐私挑战，例如丰富的传感器数据采集、用户生成内容接口等。开发者作为 XR 应用的主要构建者，其威胁
Usable Anonymity in Reproductive Health Privacy.
该研究聚焦于在线平台内置隐私功能在实现匿名性方面的可用性问题，以经期与生育追踪（PFT）应用为研究场景。由于生殖健康数据具有高度敏感性，用户面临数据监控与隐私泄露的风险，对匿名保护功能（APFs）的需求尤为迫切。研究招募了32名参与者，对六
Catch Me If You Can: Detector-Resistant Evasion via Semantics-Preserving Command Re-Realization.
该论文针对现代安全检测系统面临的对抗性逃避问题，提出了一种基于语义保留的命令重实现（Semantics-Preserving Command Re-Realization）的新型逃避技术。研究核心问题在于：现有基于命令行分析的威胁检测系统（
On the Privacy Risks of Cell-Based NAS Architectures.
该论文系统性地研究了基于神经架构搜索（NAS）搜索得到的网络架构在隐私攻击下的鲁棒性问题。以往研究主要关注 NAS 如何高效地搜索出性能更优的架构，但忽略了这些自动生成的架构在隐私保护方面的表现；与此同时，已有大量工作表明人工设计的架构容易
PLCBench: Can Autonomous LLM Agents Turn PLC Access into Sustained Physical Impact?
PLCBench 论文提出并实验验证了一个面向真实工业控制系统（ICS）的硬件在环（HIL）安全评估框架，重点研究自主大语言模型（LLM）代理能否将网络可达的可编程逻辑控制器（PLC）访问转化为持续的物理影响。现有评估大多聚焦于数字任务或
FIDA: Feature Instability-Driven Attack on Self-Supervised Facial Representation
本文提出了一种针对自监督学习（SSL）人脸表示模型的新型后门攻击框架 FIDA（Feature Instability-Driven Attack）。研究背景是：自监督学习模型已被证实容易受到后门攻击，但在人脸表示领域，此类攻击的系统性风险
Are We Shooting Flies with Cannons? Trade-off Analysis for AI-based 5G Intrusion Detection
本文针对5G网络入侵检测中日益流行的AI模型选择问题，提出“是否在用高射炮打蚊子”的质疑，系统评估了传统机器学习模型与大型语言模型（LLM）在5G网络遥测数据上的检测性能与计算成本之间的权衡。研究以XGBoost作为树集成模型的代表，Tab
Daydreaming: Stealing Hidden Agent Skills through Black-Box Task Interaction
本文提出了一种名为 Daydreaming 的黑盒攻击方法，用于窃取托管在多文件技能（skill）中的智能体能力。在当代 AI 智能体系统中，技能包通常包含指令、参考数据和可执行辅助脚本，使通用模型能够执行特定任务。服务提供商可以保守这些文
KubeCap: A Framework for Capability Minimization in Kubernetes via Static Analysis and LLM-Assisted Rule Inference
本文提出 KubeCap，一个面向 Kubernetes 工作负载的最小权限能力缩减框架。研究背景是：Kubernetes 作为最流行的容器编排平台，允许开发者通过 manifest 文件管理 Linux capabilities，但实践中
Five Primitives for Governing Autonomous AI Agents at Runtime
该论文聚焦企业级自主AI代理（autonomous AI agents）的运行时治理问题。作者指出，当前企业部署自主AI代理时，沿用了为人类用户和长期服务设计的传统控制模型，但在三个关键方面不匹配：一是代理主体（principals）是临时
Beyond Vector Hiding: Breaking and Mitigating Shared-Direction Weight Obfuscation in TEE-Offloaded Large Language Models
本文针对TEE卸载的LLM推理中一种防御方案ArrowCloak发起安全分析。TEE卸载将大模型线性层以混淆形式交给不可信加速器，在可信环境内仅保留小规模修正，以在保护模型权重的同时加速推理。先前攻击ArrowMatch利用权重向量方向不变
Unsaid, Unsafe? Implicit Security Obligations in LLM-Based RTL Code Generation
该论文针对大语言模型（LLM）生成的寄存器传输级（RTL）代码的安全性展开研究。与软件代码不同，RTL 代码一旦流片（tape-out）到硅片上便无法修补安全漏洞，因此其安全性至关重要。现有研究主要关注 LLM 生成软件代码的安全问题，而
Benchmarking Confidential Computing Performance on NVIDIA Blackwell GPUs
本文针对NVIDIA Blackwell B200 GPU上可信执行环境（TEE）的性能开销进行了系统性基准测量。研究背景是：随着机密计算（Confidential Computing, CC）在AI/LLM工作负载中的重要性上升，用户需要
The Latent Diagnostic Taxonomy: A Framework for Constructing Classifiers and Diagnosing Their Decisions, Applied to Prompt Injection Detection
本文提出了一种名为“潜在诊断分类法”（Latent Diagnostic Taxonomy）的框架，用于构建作为安全防护层的分类器，并开发配套的诊断机制，以识别分类器哪些高置信度决策是可信任的。该框架包含三个核心步骤：首先，构建维度优化的分
PRISM: Lightweight Enclave Isolation with Prismatic Capabilities
本文提出 PRISM，一种基于 CHERI 的轻量级可信执行环境（TEE）架构，旨在解决现有 CHERI TEE 方案的多个关键缺陷。CHERI 能力（capabilities）可以在对象级别提供空间内存安全，但先前基于 CHERI 构建
How Do LLM Agents Actually Get the Flag? Trace-Level Provenance for Agentic Offensive Security Evaluation
该论文针对当前基于CTF（夺旗）基准评估大语言模型（LLM）智能体攻防能力时存在的评估浅层化问题展开研究。现有评估通常仅依赖二值化的成功/失败判断或聚合分数，忽略了智能体从初始状态到达flag的完整轨迹，导致真实漏洞利用行为与直接暴露fla