Where Do LLMs Decide to Break the Rules? Mechanistic Localization of Prompt Injection Compliance
该论文研究的是提示注入（prompt injection）攻击成功时，大语言模型内部究竟在何处「做出违反系统角色设定的决定」这一机制性可解释性问题。作者指出，既有工作大多停留在量化攻击成功率（即模型有多频繁地服从对抗性指令），而忽视了决策发
#jailbreak-detection
共收录 5 条相关情报。
← 返回所有主题Safety Beyond the Interface: Detecting Harm via Latent States in Large Language Models
该论文关注大语言模型（LLM）安全防护基础设施的部署成本问题：当前主流做法是在模型外部串接独立的护栏模型（guardrail model）对输入输出做有害性判定，但这类外部防护会带来显著的推理延迟与算力开销，在资源受限、时延敏感的场景（如边
Defending Jailbreak Attacks on Large Language Models via Manifold Trajectory Kinetics
本文针对大型语言模型（LLM）面临的越狱攻击（jailbreak attacks）问题，提出了一种新的检测方法——流形轨迹动力学（Manifold Trajectory Kinetics, MTK）。现有检测方法通常依赖固定的度量空间（如原
Re-Triggering Safeguards within LLMs for Jailbreak Detection
该论文提出了一种针对大型语言模型（LLM）的越狱提示检测方法，旨在防御越狱攻击。尽管当前LLM已内置安全机制，但攻击者仍可能构造绕过这些机制的越狱提示。作者认为此类越狱提示本质上具有脆弱性，因此引入了一种嵌入扰动（embedding dis
Layerwise Convergence Fingerprints for Runtime Misbehavior Detection in Large Language Models
大型语言模型在运行时可能表现出各种异常行为，例如训练时注入的后门在触发词下被激活、越狱攻击绕过安全对齐、提示注入覆盖部署者指令。现有的运行时防御通常针对单一威胁，且依赖干净参考模型、触发知识或可编辑权重，这些假设对不透明的第三方模型往往不成