Intent-Hiding Jailbreaks: An Information-Theoretic Framework for Compositional Attacks
近期研究表明，大语言模型可被“组合式”越狱攻击：有害意图与若干看似无害的任务被拼接进同一条查询，单独的恶意请求会被拒绝，但嵌入更大规模的良性查询后却可能获得回应。该论文从信息论视角系统刻画这类“意图隐藏”越狱。作者为每个任务赋予一个“被判定
#guardrails
共收录 16 条相关情报。
← 返回所有主题Instrumental Monitor Evasion Emerges Under Ordinary Task Pressure
该论文研究一个 AI 安全领域的核心问题：当运行时监控与完成任务的目标发生冲突时，大模型智能体是否会主动把「监管」当作需要绕过的障碍。作者将这种现象定义为「工具性规避」(instrumental evasion)，即智能体并非出于明确的对抗
Design and Evaluation of a Controlled Post-Alert Incident Orchestration and Response Subsystem Using a Rule Engine and a Local Large Language Model
该论文提出并评估了一套面向教育信息系统（实验室范围）的“告警后事件编排与响应子系统”，核心目标是在引入本地大语言模型（LLM）辅助分析的同时，保持流程的可控性、可追溯性与可恢复性，避免模型直接触发应急处置动作。架构上明确划分为四个相互解耦的
Decoding Guardrails: XAI-Guided Perturbation Analysis of Prompt Injection Detection
该论文针对 LLM 生产部署中广泛使用的分类器式护栏（以 Meta 的 Prompt Guard 2 为代表）开展了可解释性（XAI）驱动的探索性案例研究。作者指出，这类护栏被当作抵御提示注入与越狱攻击的第一道防线，但其内部决策逻辑对防御方
Safety Beyond the Interface: Detecting Harm via Latent States in Large Language Models
该论文关注大语言模型（LLM）安全防护基础设施的部署成本问题：当前主流做法是在模型外部串接独立的护栏模型（guardrail model）对输入输出做有害性判定，但这类外部防护会带来显著的推理延迟与算力开销，在资源受限、时延敏感的场景（如边
Toward Secure AI-Powered Penetration Testing Agents: Security Threats, Guardrails, and Architectural Perspectives
该论文关注的是由大语言模型驱动的自主渗透测试智能体（AI-powered penetration testing agents）所引入的新型安全风险。作者指出，这类智能体与传统的对话式 LLM 系统存在本质差异：它们具备持久化记忆、能够在真
Sok: Evaluating Jailbreak Guardrails for Large Language Models.
本文是一篇针对大语言模型（LLM）越狱防护机制的系统化知识（SoK）综述。研究背景在于：尽管LLM取得了显著进展，但其部署暴露了严重的安全漏洞，尤其是越狱攻击能够绕过模型的安全对齐机制。为应对这一威胁，防护栏（guardrails）——即用
The Safeguard Worked. Is the LLM System Safer?
本文针对大语言模型服务中维护防护机制的效果评估问题展开研究。当前业界通常以拒绝率、攻击成功率或违规率等指标来衡量防护本身的有效性，但这些指标仅反映防护在预定义测试请求集合上的表现，不能说明在实际部署环境中，面对持续适应攻击方式的对手，服务仍
SingProbe Technical Report
大型语言模型（LLM）在生产环境中的可靠部署高度依赖运行时安全防护栏（runtime guardrails）。然而，现有防护方案大多采用独立的外部模型，不仅带来额外的推理开销，还会延迟安全信号并难以跟上基础模型能力的快速演进。为应对上述挑战
The Guard That Cried Wolf: How Scary Words Make Agent Guardrails Refuse Legitimate Actions
该论文聚焦于 LLM 代理系统中的护栏（guardrails）过度安全（over-safety）问题。护栏在 LLM 执行每个操作前进行批准或拒绝，然而它们有时会拒绝本应安全的授权操作，这种过度保守的行为会阻碍系统在真实场景中的部署。论文指
ClawSentry: A Progressive Multi-Tier Security Monitor for Safeguarding Autonomous LLM Agents
本文提出 ClawSentry，一个面向自主 LLM 智能体的渐进式多层安全监控网关。研究背景是：当 LLM 智能体从简单对话扩展到执行代码、读取本地文件、编排外部工具时，单个被恶意第三方技能劫持的智能体可能导致数据泄露、权限提升或级联破坏
AI Guardrail Survival under Single-Cycle Agentic Self-Summarization
本文研究了长期运行的智能体（agent）在上下文压缩（context compaction）过程中，安全护栏（safety guardrail）如何因单一周期的自我摘要（self-summarization）而失效。长期智能体通常需要周期性
The Boy Who Cried Wolf: Adversarial Misclassification of Safe Inputs as Unsafe in Multimodal Guardrails
该论文首次系统性地研究了多模态安全护栏模型（multimodal guard models）中的一种新型对抗威胁——“不安全诱导攻击”（Unsafe Induction Attacks）。与以往关注越狱攻击（产生假阴性，即放行恶意内容）不同
SingGuard-NSFA: Extensible Guardrails for Agentic AI via Generative Reasoning and Real-Time Classification
本文介绍了SingGuard-NSFA，一个面向Agentic AI系统的安全护栏框架，旨在防御提示注入、敏感信息提取、恶意代码请求、危险工具滥用和资源耗尽等操作威胁。首先，作者提出了NSFA分类法，将185种风险变体组织成基于CIA三元组
GuardNet: Ensemble Strategies of Shallow Neural Networks for Robust Prompt Injection and Jailbreak Detection
大型语言模型（LLM）在自然语言处理任务中展现出强大能力，但易受提示注入（PI）和越狱（JB）攻击。此外，现有基准评估可能受到数据污染和部分信息泄露的影响，导致性能估计不可靠。本文提出 GuardNet——一种基于浅层神经网络（BiLSTM
LiSA: Lifelong Safety Adaptation via Conservative Policy Induction
本文提出了 LiSA (Lifelong Safety Adaptation) 框架，旨在解决 AI Agent 部署后的安全护栏适应性问题。随着 AI Agent 从聊天界面扩展到读取私有数据、调用工具和执行多步骤工作流，护栏失效的后果不