Same Payload, Different Channel: Measuring Trust Asymmetry in Tool-Using Language Models
本文研究语言模型在扮演代理角色时，不同信息通道（用户消息、工具元数据、工具输出）对恶意指令的响应差异。作者提出安全不对称分数（Safety Asymmetry Score, SAS），通过保持恶意文本内容相同、仅改变传递上下文，衡量模型对来
#cs.CL
共收录 424 条相关情报。
← 返回所有主题"I Strongly Suspect This Website Is a Scam": Benchmarking PII Leakage and Detection without Defense in Autonomous Web Agents
该论文系统性地研究了自主Web智能体在面对社会工程攻击时泄露用户个人可识别信息（PII）的问题。作者首先指出，互联网上广泛存在的欺骗性Web内容（即社会工程攻击）能够操纵自主Web智能体将用户的PII提交给攻击者控制的端点。为了量化这一风险
EvoDefense: Co-Evolving Black-Box Defense with Large Language Models
大型语言模型（LLM）在多种攻击下仍高度脆弱，尤其是在黑盒场景中，攻击者无法获取目标模型的内部信息。现有的黑盒防御方法通常依赖预定义的过滤启发式规则，难以泛化到未知攻击类型和不同目标模型架构。本文提出 EvoDefense，一种经验引导的共
From Prompt Injection to Persistent Control: Defending Agentic Harness Against Trojan Backdoors
该论文针对LLM Agent安全领域，揭示了一种新型的多步Trojan攻击范式。在本地Agent harness（如OpenClaw模拟的工作空间）中，LLM能够读写文件、调用工具并在会话间复用工作空间状态。攻击者可以将恶意prompt注入
DataShield: Safety-degrading Data Filtering for LLM Benign Instruction Fine-Tuning
大型语言模型（LLMs）在即使使用良性数据集进行指令微调时，也会出现安全能力退化的问题。现有识别良性数据中安全退化样本的方法存在计算成本高、噪声大的缺点。本文提出DataShield，一种高效识别潜在安全退化样本的方法。核心直觉是良性微调会
LLM Anonymization Against Agentic Re-Identificatio
随着具备网络搜索能力的智能体LLM（如AutoGPT、WebGPT）的普及，文本匿名化的威胁模型发生了根本性变化：即使是看似弱小的上下文线索（如时间、地点、角色名称等）也可能被攻击者通过跨网页交叉引用成功关联，从而重识别出个人身份。然而，这
Triaging Threats to Specialized Guardrails
本论文针对大型语言模型（LLM）在真实部署中安全护栏的鲁棒性问题展开研究。作者指出，现有安全数据集仅覆盖零散的风险子集且分类体系不一致，导致难以评估护栏模型的泛化能力。为此，本文首先构建了GuardZoo，一个统一的人工标注基准，包含32,
An Organization-Scoped LLM Agent Runtime Architecture for Regulated Cybersecurity Operations
这篇论文针对受监管的网络安全运维场景，指出现有的大语言模型（LLM）代理系统虽然在孤立的网络安全任务上表现良好，但缺乏一个能够跨检索、工具调用、记忆、发现、报告和审计强制执行组织级范围、同时保持模型无关且可本地部署的运行时平台。特别是在安全
Token-Level Generalization in LoRA Adapter Backdoors: Attack Characterization and Behavioral Detection
该论文研究了针对LoRA适配器（当前微调大语言模型的主流格式）的后门攻击及其检测方法。作者通过数据投毒在LoRA适配器中植入后门，同时保持基准任务性能不受影响。以Qwen 2.5 1.5B提示注入分类器为例，少量有毒样本即可使后门达到饱和，
Token Inflation: How Dishonest Providers Can Overcharge for Large Language Model Usage
本文研究了大型语言模型（LLM）商业服务中按token计费模式下的审计漏洞。当前主流计费方式是基于token数量收费，但服务提供商出于保护知识产权、防御越狱攻击和用户隐私等理由，隐藏了模型、分词器及执行细节，使得用户难以独立验证计费toke
AgentDoG 1.5: A Lightweight and Scalable Alignment Framework for AI Agent Safety and Security
该论文针对开放世界AI代理（如OpenClaw）在跨环境执行时引入的新型安全风险，提出了一种轻量级、可扩展的代理安全对齐框架AgentDoG 1.5。研究背景指出，现有前沿AI模型大幅降低了攻击门槛，而当前的对齐框架不足以应对真实部署中的威
Minimal Prompt Perturbations Lead to Code Vulnerabilities: Prompt Fragility and Hidden-State Signals in Coding LLMs
本文研究的是基于大语言模型（LLM）的编码助手在提示（prompt）受到微小扰动时，生成的代码是否会从安全变为脆弱。以往工作主要关注扰动对功能正确性的影响，而本文首次系统性地探讨对代码安全性的影响。作者在三种模型和五种编程语言上对提示进行词
AliMark: Enhancing Robustness of Sentence-Level Watermarking Against Text Paraphrasing
本文针对句子级文本水印在强释义攻击下鲁棒性不足的问题展开研究。现有的句子级水印方法通过将水印锚定在句子语义上来增强对释义的鲁棒性，但基于前缀的设计仍然容易受到句子分割和合并等结构扰动的影响，这些扰动在DIPPER、GPT-3.5等强释义器下
Implicit Identity Technologies for LLMs: Fingerprinting and Watermarking across Datasets, Models, and Generated Content
本文是一篇针对大型语言模型（LLM）领域内指纹识别与水印技术的综述论文，旨在统一术语、生命周期阶段和评估目标，为LLM资产保护与溯源建立结构化基础。LLM的研发需要大量数据、算力和专业知识，且正被部署于高风险场景，因此保护LLM相关资产并追
Relevance as a Vulnerability: How Web Retrieval Degrades Safety Alignment in LLM Agents
本文研究了AI Agent通过集成网络检索等外部工具来增强大语言模型（LLM）的能力，使其能够提供基于实时信息的响应。然而，将外部内容纳入生成流程会削弱模型原有的安全对齐机制，导致对有害请求的遵从性增加。作者提出了一个诊断框架AgentRE
Robust and Efficient Guardrails with Latent Reasoning
随着大型语言模型（LLM）在现实应用中的广泛部署，确保其安全性至关重要。现有的安全护栏通常依赖单次分类或最近提出的蒸馏推理方法。基于推理的护栏显著优于纯分类基线，但会引入大量查询延迟和令牌开销，使其难以在高吞吐量场景中部署。为了解决这一挑战
Measuring Real-World Prompt Injection Attacks in LLM-based Resume Screening
本研究首次系统性地测量了大型语言模型（LLM）在实际应用中的提示注入攻击威胁，聚焦于广泛使用的LLM简历筛选系统。研究基于hireEZ公司收集的约20万份真实简历数据，时间跨度数年。作者首先设计了专门针对简历文本的提示注入检测方法，通过在小
Code as a Weapon: A Consensus-Labeled Prompt Bank for Measuring Coding-Model Compliance with Malicious-Code Requests
本文针对编码模型（coding model）在处理恶意代码请求时的合规性测量问题展开研究。研究背景是：通用语言模型回答有害问题返回的是文本，而编码模型如果服从恶意请求，可能直接输出可运行的武器——例如键盘记录器、勒索软件存根或可直接执行的漏
MaskClaw: Edge-Side Personalized Privacy Arbitration for GUI Agents with Behavior-Driven Skill Evolution
GUI代理（如智能助手）依赖截屏来理解用户操作意图并跨应用执行任务，然而截屏中常包含私人消息、医疗记录、支付凭证以及工作流等敏感信息。现有的静态PII检测器无法动态感知不同任务、场景或用户角色下的隐私边界，而云端视觉语言模型（VLM）可能在
GraphSteal: Structural Knowledge Stealing from Graph RAG via Traversal Reconstruction
该论文提出了一种针对基于知识图谱的检索增强生成（Graph RAG）系统的结构知识窃取攻击方法，称为GraphSteal。Graph RAG通过将知识图谱集成到检索管道中，使大语言模型能够利用结构化知识中的实体、关系和多跳依赖。然而，这种结