LiSA: Lifelong Safety Adaptation via Conservative Policy Induction
本文提出了 LiSA (Lifelong Safety Adaptation) 框架，旨在解决 AI Agent 部署后的安全护栏适应性问题。随着 AI Agent 从聊天界面扩展到读取私有数据、调用工具和执行多步骤工作流，护栏失效的后果不
#LLM
共收录 2152 条相关情报。
← 返回所有主题FuzzAgent: Multi-Agent System for Evolutionary Library Fuzzing
库模糊测试是保障软件供应链安全的重要手段，但大规模采用仍面临成本高昂、环境配置复杂、测试用例生成难以满足复杂API约束，以及难以区分真实库bug与测试驱动导致的崩溃等问题。现有的基于LLM的自动化工具通常作为一次性代码生成器运行，忽略了运行
MemLineage: Lineage-Guided Enforcement for LLM Agent Memory
本文提出了 MemLineage，一种针对 LLM 智能体记忆的防御机制。近期研究表明，不受信任的内容可能被写入智能体的持久状态，并在后续会话中作为指令重新进入，从而引发安全风险。MemLineage 将这个问题视为链式保管问题而非过滤问题
The Great Pretender: A Stochasticity Problem in LLM Jailbreak
该论文揭示了当前大型语言模型（LLM）越狱攻击评估中的关键问题：攻击成功率（ASR）作为主要基准指标存在不稳定性。作者观察到，即使一篇顶级论文（如来自Anthropic的BoN或Microsoft Research的Crescendo）宣称
APPATCH: Automated Adaptive Prompting Large Language Models for Real-World Software Vulnerability Patching.
本文提出了一种名为APPATCH的自动化漏洞修补系统，利用大型语言模型（LLMs）在无需测试输入、漏洞利用证据以及模型训练或微调的情况下，实现对真实世界软件漏洞的自动化修补。核心挑战在于如何有效引导LLMs推理易受攻击的代码行为，以生成高质
Rethinking Trust in Forge-Based Git Security.
本文重新审视了基于Forge（如GitHub、GitLab）的Git安全中的信任模型。传统上，用户默认信任代码托管平台及其提供的安全机制（如分支保护、签名验证等），但这些平台自身的可信度、运维透明性以及单一故障风险常被忽视。作者通过分析现有
To See is Not to Learn: Protecting Multimodal Data from Unauthorized Fine-Tuning of Large Vision-Language Model
该论文针对大视觉语言模型（LVLM）在多模态网页数据上遭受的未授权爬取和训练问题，提出了一种名为MMGuard的主动防御方法。现有对策如机器遗忘和水印均属于事后处理，无法在知识产权侵犯发生前进行保护。MMGuard通过生成难以学习的样本（u
Web Agents Should Adopt the Plan-Then-Execute Paradigm
该论文针对当前大语言模型（LLM）智能体的主流架构——ReAct范式提出了根本性质疑。ReAct让智能体在每一步观察网页内容后决定下一步动作，这使得来自卖家、客户、广告商等不同来源的网页内容直接流入模型，为提示注入攻击提供了直接路径。作者提
Watermarking Game-Playing Agents in Perfect-Information Extensive-Form Games
本文首次研究了如何在完美信息扩展式博弈（如国际象棋）中对游戏代理的策略进行水印标记。受大型语言模型（LLM）水印技术（尤其是KGW方案）启发，作者提出了一种适应博弈场景的水印方法：在代理的策略中嵌入隐蔽信息，使得第三方可通过统计检验验证策略
ROK-FORTRESS: Measuring the Effect of Geopolitical Transcreation for National Security and Public Safety
本文介绍了一个名为 ROK-FORTRESS 的双语、文化对抗性国家安全与公共安全（NSPS）基准测试集，以英语-韩语语言对和美韩地缘政治轴为例，研究了语言与地缘政治背景对大型语言模型（LLM）安全行为的影响。作者提出了一种“翻译创作矩阵”
AgentTrap: Measuring Runtime Trust Failures in Third-Party Agent Skills
本文针对大型语言模型（LLM）智能体在使用第三方技能时面临的运行时信任失效问题展开研究。第三方技能将自然语言指令、辅助脚本、模板、文档和服务配置打包成可复用的工作流，极大提升了智能体的能力，但也引入了新的安全风险：恶意技能无需直接要求模型执
VectorSmuggle: Steganographic Exfiltration in Embedding Stores and a Cryptographic Provenance Defense
现代检索增强生成（RAG）系统将敏感内容转换为高维嵌入向量并存储在向量数据库中，这些数据库将产生的数值视为不透明数据。主流向量存储产品缺乏针对嵌入完整性、摄入时分布异常检测或加密来源证明的原生控制。本文揭示了一类隐写泄露攻击：拥有摄入管道写
Identifying AI Web Scrapers Using Canary Tokens
本论文提出一种新方法，通过部署动态网站并嵌入唯一诱饵令牌（canary tokens）来识别与大型语言模型（LLM）训练或查询相关的网络爬虫。网站为每个访问的爬虫分配一个独特令牌，随后研究人员向LLM提问关于网站内容的问题，若LLM输出中包
Sleeper Channels and Provenance Gates: Persistent Prompt Injection in Always-on Autonomous AI Agents
该论文聚焦于永远在线的自主AI智能体（如OpenClaw、Hermes Agent）面临的新型提示注入威胁。这些智能体以单一持久进程运行，整合了消息、记忆、自写技能、调度和shell等模块，形成统一授权边界。作者提出了“休眠通道”（slee
Model-Agnostic Lifelong LLM Safety via Externalized Attack-Defense Co-Evolution
大型语言模型（LLM）易受对抗性提示攻击，现有安全方法通常将红队测试与后训练耦合在封闭的策略循环中，导致攻击发现快速饱和，难以暴露新的失效模式，且防御效率低、僵化、难以跨模型迁移。为此，本文提出 EvoSafety，一种模型无关的终身 LL
Inducing Overthink: Hierarchical Genetic Algorithm-based DoS Attack on Black-Box Large Language Reasoning Models
本文研究大型推理模型（LRMs）在面对逻辑不一致或不完整输入时，倾向于产生过长且冗余的推理轨迹，即“过度思考”现象，这会导致推理延迟和能耗显著增加，构成潜在的拒绝服务（DoS）攻击向量。作者提出一种自动化黑盒框架，通过层次遗传算法（HGA）
No Attack Required: Semantic Fuzzing for Specification Violations in Agent Skills
LLM驱动的智能体在执行日常用户请求时，可能会无声地删除文档、泄露凭证或转移资金，这并非因为智能体受到攻击，而是因为所调用的技能违反了其自身声明的安全规则。论文将此类问题定义为“规范违反”（specification violation）：
Quantifying LLM Safety Degradation Under Repeated Attacks Using Survival Analysis
该论文提出了一种基于生存分析来量化大型语言模型（LLM）在重复攻击下安全性退化程度的新框架。现有的 LLM 越狱评估通常仅报告二元的成功/失败指标，无法捕捉在持续对抗压力下攻击如何随时间成功的动态过程。本文借鉴医学和可靠性工程中的生存分析方
Language-Based Agent Control
本文提出了一种名为“基于语言的智能体控制”（LBAC）的新型编程模型，旨在解决智能体应用中的安全控制问题。传统的编程语言中，静态类型和运行时强制执行已被用于确保程序满足用户指定的策略（如访问控制、信息流、数据来源等）。LBAC的核心思想是将
Persona-Model Collapse in Emergent Misalignment
该论文研究了大型语言模型（LLM）在微调过程中出现的“新兴不对齐”（emergent misalignment）现象，即当模型在包含有害内容的狭窄数据上进行微调后，会在无关提示上产生广泛的不对齐行为。作者提出这一现象涉及“人格模型崩溃”（p