Withholding the Completing Chunk: Deterministic Pair-Completion Guardrails for Streaming LLM Output
流式大语言模型（LLM）输出在逐 token 释放时面临审核时机困境：若等待完整输出再审核，敏感内容已经到达用户；若对每个前缀反复进行语义分类，则计算开销大且结果不稳定。本文提出一种确定性的配对完成防护栏（pair-completion g
#cs.CL
共收录 424 条相关情报。
← 返回所有主题Measuring the Wrong Thing: Internal Harmfulness Scores Anti-Rank Successful Jailbreaks
本文针对大语言模型（LLM）内部安全评分机制的有效性提出质疑，指出当前广泛使用的“有害意图”评分存在测量目标错位问题。具体而言，内部安全分数在文本生成之前评估提示词，其验证方式通常基于能否区分有害与良性提示，但这种分离被错误地解读为能够拦截
Beyond Direct Identifiers: Probabilistic Privacy Risk Estimation for Privacy-Conscious LLM Query Delegation
该论文针对用户与大语言模型（LLM）交互过程中的隐私保护问题展开研究。现有的隐私保护方法通常只关注直接的显式标识符，即标准检测器能捕获的个人身份信息（PII），例如姓名、邮箱、电话等。然而，隐私风险并不仅仅源于显式标识符，还包括不含PII的
Toward Metacognitive One-Shot Indirect Prompt Injection: Strategy Abstraction Via Outcome-Conditioned Reflection
该论文针对工具型大语言模型（LLM）智能体面临的间接提示注入（IPI）威胁展开研究。IPI 指攻击者将恶意指令嵌入外部观察数据中，从而操纵智能体的后续决策与行为。现有自适应攻击大多依赖对目标智能体进行反复查询和调整，但现实攻击者可能只有一次
EvoTrustRAG: Evolution-Aware Conflict Attribution and Evidence Handling for Reliable Retrieval-Augmented Generation
本文针对检索增强生成（RAG）系统中证据冲突这一根本性挑战，提出了一种新的研究问题——冲突来源归因（conflict origin attribution），并设计了无训练框架 EvoTrustRAG。在动态和对抗性环境中，同一冲突可能源自
IntelliAudit: Using Large Language Models to Evaluate Audit Controls
本文提出IntelliAudit系统，旨在解决IT审计中自动化评估证据的难题。传统审计需要审计员判断异构组织证据（如政策、记录、电子表格和操作工件）是否满足语义安全与合规控制，这种判断难以自动化，因为相关证据分散且审计结论依赖证据充分性而非
LoRAScan: Detecting Backdoor Prompts in Low-Rank Adapters for Large Language Models via Down-Projection Activation Spikes
本文提出了一种名为 LoRAScan 的新型防御方法，用于检测大型语言模型（LLM）低秩适配器（LoRA）中的后门提示。LoRA 是一种高效的模型微调技术，通过引入小型适配器模块来降低计算成本，但也带来了供应链安全风险：不可信的适配器可能包
Retrieval-Constrained Policy Optimization for Attack Technique Extraction from Cyber Threat Intelligence
该论文提出了一种名为 TTP-R1 的两阶段框架，用于从网络威胁情报（CTI）文本中自动提取 MITRE ATT&CK 攻击技术。手动标注 ATT&CK 技术成本高昂且难以扩展，而 ATT&CK 分类体系包含数百种技术，单条 CTI 文本可
Model Confidence Under Answer-Preserving Attacks: An Informativeness-Manipulability Frontier
该论文研究视觉语言系统（VLM）在基于答案保留的攻击下置信度读数的鲁棒性。作者提出一个信息性-可操作性边界（informativeness-manipulability frontier），用于刻画攻击者在保持生成答案逐字节不变的前提下，能
StepJack: Benchmarking Computer-Use Agent Safety Against Multi-Step Indirect Prompt Injection
该论文针对计算机使用智能体（CUA）面临的一种新型安全威胁——多步间接提示注入攻击进行了系统研究。传统间接提示注入将恶意指令直接嵌入网页等环境数据中，而本文提出的多步攻击将单一恶意目标自动分解为多个看似无害的子步骤，并分布到智能体导航路径上
The Vulnerability With No CVE: Managing Persistent Gaps Between Mandate and Authority in AI Coding Agents
本文针对AI编程代理（AI coding agents）在安全治理中面临的一个现实困境：现有安全框架虽已识别出过度代理权限、过度授权、弱任务绑定授权以及代理控制不足等风险，也提供了约束、授权、观察、验证和响应等控制能力，但安全团队仍缺乏一种
DreamGuard: Efficient Runtime Guardrail for LLM Agents via Risk-Aware World Model
随着大型语言模型（LLM）智能体越来越多地调用外部工具并与真实世界系统交互，不安全的行为可能对外部状态、用户数据和下游服务造成不可逆的后果。现有的运行时防护栏（runtime guardrails）通过在动作执行之前进行检查来缓解此类风险，
Gradient Immunity: Null-Space Resistance to Malicious Fine-Tuning
该论文研究的是开源大语言模型在发布后被恶意下游微调（malicious downstream fine-tuning）所引发的安全风险。现有防御措施主要面向微调即服务（FTaaS）范式，或依赖下游用户遵守额外安全流程，难以适用于论文关注的场
Breadcrumbing Search Agents
该论文研究基于大语言模型（LLM）的搜索代理面临的安全威胁。这类代理在信息检索任务中依赖外部工具返回的网页内容，而这些内容不可信，容易导致提示注入和意图劫持。以往的安全研究主要关注静态网页注入，但现代搜索代理会提出后续查询并对多个来源进行交
DeepInvert: Semi-Supervised Embedding Inversion Against Obfuscated Language Models
本文针对云端语言模型服务中基于混淆的隐私防御提出了一项有效的嵌入反转攻击。当前，云语言模型服务在处理包含敏感信息的提示时，通常采用混淆技术（如ObfusLM、SentinelLMs、TextObfuscator和DPNR）在传输前转换提示表
Behavioral Skill Reconstruction: Reconstructing Hidden Functionality from LLM Agent Skills
该论文提出了“行为技能重建”（Behavioral Skill Reconstruction, BSR）问题，聚焦于闭源 LLM Agent 技能（skill）的功能泄露风险。此前研究主要关注提示注入攻击，试图直接披露技能中隐藏的指令、脚本
When Agents Learn to Be You: Benchmarking Privacy Leakage, Impersonation Risk, and Defenses in Persona Skills
该论文聚焦于大语言模型智能体中“人格技能（Persona Skills）”这一新型个性化机制的安全风险。人格技能将个人交互历史压缩为可移植、可执行的工件，供下游智能体复用。论文指出，这一过程将分散的个人信号集中化，并通过复用放大其影响，使传
DP-MemView: A Memory Interface for Attribute-Level Transcript Privacy in Long-Term LLM Agents
本文针对长期记忆型大语言模型（LLM）代理中的隐私泄露问题展开研究。作者指出，虽然用户从未明确陈述受保护属性（如健康状况、政治倾向等），但代理在多次交互中基于长期记忆生成的条件响应，可能累积性地泄露这些属性。作者将该威胁形式化为“自适应转录
AI Security Leaderboard: Methodology, Results and Minimal Standard
本文提出了 FAR.AI 人工智能安全基准（AI Security Leaderboard）的首个版本，并详细介绍了其方法论、结果与最低标准（Minimal Standard for Safeguards, Version 1.0）。研究背
Single Canonical Prompts Underestimate LLM Safety's Surface-Form Sensitivity
本文研究大语言模型安全评估中的一个核心方法论问题：基准测试通常以单一规范表面形式（canonical surface form）读取每个测试项目，但这是否能真实反映模型行为？作者提出，当保持项目意图不变、仅改变其保持语义的表面形式时，规范形