COPA: Continual Preference Optimization for Adaptive Prompt Injection Defense
本文针对大型语言模型（LLM）在面对不断演进的提示注入攻击时现有防御机制不足的问题，提出了一种持续偏好优化框架COPA。提示注入攻击通过将恶意指令嵌入用户输入或外部内容，可操控模型行为并绕过安全限制。现有防御大多采用静态策略，如固定的对齐目
#lifelong-learning
共收录 2 条相关情报。
← 返回所有主题LiSA: Lifelong Safety Adaptation via Conservative Policy Induction
本文提出了 LiSA (Lifelong Safety Adaptation) 框架，旨在解决 AI Agent 部署后的安全护栏适应性问题。随着 AI Agent 从聊天界面扩展到读取私有数据、调用工具和执行多步骤工作流，护栏失效的后果不