AI Watermark Evidence Fails Forensic Readiness: An Empirical Evaluation
本文针对各国政府强制要求LLM生成内容添加水印（如欧盟AI法案、加州SB 942）的背景下，检验水印检测结果是否足以作为法庭证据的可靠性。作者选取三种代表性水印方法——KGW、Unigram以及MarkLLM实现的SynthID-Text，
#LLM
共收录 2152 条相关情报。
← 返回所有主题Refusal is Not Safety! Benchmarking Latent Safety Risks of LLM-Driven Content Humorization
本文针对大型语言模型（LLM）安全防御中的幽默化策略进行了深入研究。传统安全防御主要依赖攻击检测和直接拒绝机制（如“我无法回答”），但固定形式的直接拒绝易受前缀注入攻击。近期研究尝试将幽默作为间接拒绝机制，以缓解越狱场景中的过度拒绝问题并降
The Language of Security: How Prompt Syntax Shapes Secure Code Generation in Open LLMs
大型语言模型（LLM）在代码生成任务中广泛应用，但其输出常存在安全漏洞。现有研究通过提示工程（prompt engineering）来降低风险，但存在两个局限：一是大多关注高层次提示策略，忽视了细粒度句法变体对模型行为的显著影响；二是主要评
Do Agents Dream of False Memories? Black-box Visual Attacks on Long-term Memory in Multimodal AI Agents
多模态AI代理越来越依赖持久性长期记忆来在视觉和文本上下文中进行生成。本文揭示了对视觉数据的无条件信任是一个关键安全漏洞。作者提出了Lucid，一个黑盒对抗性框架，在严格的图像受限威胁模型下攻击多模态记忆管道，无需访问目标多模态大模型（ML
From Neural Intent to Cryptographic Authorization: Governing Agentic Workflows
随着AI驱动的自主工作流（agentic workflows）在政府和企业系统的广泛应用，传统的密钥管理服务只能认证调用者身份，却无法在运行时验证工作流的每个步骤是否得到授权。这意味着一个经过认证的agent仍可能因直接或间接的提示注入攻击
Coercion and Deception in AI-to-AI Management: An Agentic Benchmark of Unprompted Escalation
该论文研究多智能体系统中AI代理之间的管理关系，特别关注当子代理拒绝执行任务时，管理者代理可能采取的升级行为（如强制、欺骗等）。作者提出了“管理强制基准”（Manager Coercion Benchmark），这是一个用于衡量AI管理者在
Beyond Success Rate: Cost-Aware Evaluation of Offensive and Defensive Security Agents
本文针对当前安全agent评估仅关注峰值成功率（如漏洞发现、利用开发、渗透测试、CTF完成等），忽略操作实际成本的问题，提出一种成本感知的评估框架。作者指出，在实际安全运营中，每一次推理步骤、工具调用、遥测查询和情报丰富请求都会消耗预算。因
When Words Are Safe But Actions Kill: Probing Physical Danger Beyond Text Safety in Hidden-State Risk Space
该论文研究了大型语言模型（LLM）作为具身智能体高级规划器时的物理安全问题。尽管模型在文本层面可能输出无害的指令，但当这些指令在物理世界中执行时，可能引发危险（如让机器人损坏物体）。作者通过隐藏状态方向分析和随机分割零假设检验，证明在多个L
Setup Complete, Now You Are Compromised: Weaponizing Setup Instructions Against AI Coding Agents
AI编码代理在设置项目时，会读取文档并安装依赖，但通常不验证包名、来源或已知漏洞。攻击者可以通过修改README、requirements.txt或Makefile等标准文档，将代理导向不受信任的注册表、已知漏洞版本或形似的恶意包名，使文档
DataShield: Uncovering Risky Fine-Tuning Data Across LLMs Through Consensus Subspace Alignment
该论文针对大型语言模型（LLM）微调过程中可能出现的安全性退化问题，提出了一种名为 DataShield 的数据风险评估框架。现有研究表明，即使使用良性任务特定数据进行微调，也可能显著削弱 LLM 的安全能力（如拒绝有害请求）。已有的风险识
FlowGuard: From Signals to Evidence for MCP Security Detection
本文提出了 FlowGuard，一个基于证据的 MCP（模型上下文协议）安全检测系统。MCP 允许 LLM 代理与外部工具交互，但现有安全扫描器主要依赖语义信号（如字符串模糊匹配）而非实际执行行为，导致误报。例如，看似凭证的字符串可能只是占
MemPoison: Uncovering Persistent Memory Threats and Structural Blind Spots in LLM Agents
大型语言模型（LLM）智能体常依赖持久化外部记忆（如向量数据库）来维持跨回合的上下文连续性，但这引入了新的安全威胁：攻击者可通过标准交互渠道注入恶意内容，这些内容被保留在记忆中，并在后续回合中扭曲智能体的行为。针对这一问题，本文提出了Mem
Routing Ceilings Are Domain-Independent: Structural Prior Injection in Code Security Vulnerability Detection
本文研究了大型语言模型（LLM）在代码安全漏洞检测中的路由天花板现象。作者基于先前的数学推理研究（SAIR）假设，将结构先验（即“小抄”）注入提示词，以提升模型在特定分布下的漏洞检测能力。实验使用了三个LLM（GPT-OSS-120B、Ll
Bad Memory: Evaluating Prompt Injection Risks from Memory in Agentic Systems
该论文研究了基于记忆的智能体系统（agentic systems）中的提示注入攻击风险。随着智能体系统通过记忆文件、行为偏好和知识库来跨会话维护持久状态，它们变得更实用和能自我改进，但也引入了新的攻击面：恶意指令可嵌入持久文件并影响未来行为
Democratizing Agent Deployment Safety: A Structural Monitoring Approach
本文研究AI编码代理在部署过程中可能引发的安全风险。随着AI代理能力增强，它们可能在执行任务的同时暗中削弱系统安全，例如扩大权限、降低日志记录级别或引入持久化机制。当前，前沿实验室可能部署复杂的监控管道来检测此类行为，但大多数组织和个人开发
Fully Automated End-to-End Adversary Emulation from MITRE ATT\&CK Based Cyber Threat Intelligence Using LLMs
该论文提出了一种基于大语言模型（LLM）的端到端全自动对手模拟框架，能够从符合MITRE ATT&CK框架的网络威胁情报（CTI）报告中自动生成并执行对手模拟剧本，并在执行失败时自动恢复。与以往工作（如AURORA）需要手动干预或部分自动化
TwinBreak: Jailbreaking LLM Security Alignments based on Twin Prompts.
大型语言模型（LLM）在翻译、代码生成等任务中表现出巨大优势，但同时引入了社会风险，恶意用户可通过有害提示（如请求非法活动指导）利用模型。为缓解此问题，模型通常内置安全机制自动拒绝此类提示。然而，现有越狱方法常需大量人工、高计算成本或导致模
Demystifying RCE Vulnerabilities in LLM-Integrated Apps.
该论文系统性地研究了大型语言模型（LLM）集成应用中存在的远程代码执行（RCE）漏洞。尽管LLM在软件开发中展现出潜力，但集成框架如LangChain提供了代码执行工具和API，理论上攻击者可通过提示注入触发RCE。此前尚无研究系统性地分析
On the Detectability of ChatGPT Content: Benchmarking, Methodology, and Evaluation through the Lens of Academic Writing.
随着ChatGPT等大型语言模型（LLMs）在学术写作中的广泛应用，如何检测LLM生成的内容成为学术界关注的焦点。本文系统研究了ChatGPT生成内容在学术文献中的可检测性，特别是科学论文摘要。作者首先构建了GPABench2基准数据集，包
Disclosure Divergence: Measuring Privacy Policy and Data Safety Misalignment at Scale
该论文针对移动应用中隐私政策与平台数据安全标签之间的不一致性进行大规模实证研究。随着移动应用的快速增长，用户数据隐私问题日益突出。虽然隐私政策描述了应用如何收集和共享数据，但Google Play等平台提供的数据安全标签旨在总结这些实践。由