CorrectGuard: Eyes-Off Correctness Estimation for Black-Box Security Guardrails
该论文聚焦 AI 服务中广泛部署的"黑盒安全护栏"(guardrail)的审计难题。现实中,出于隐私与合规要求,审计方往往处于两种受限状态:一是"人类不可见"(human eyes-off),即禁止人工查看用户输入内容;二是"机器不可见"(
#LLM-security
共收录 143 条相关情报。
← 返回所有主题The Fragility of Trigger-Tag Mechanisms for Misuse Detection in Open-Weight LLMs
该论文关注开放权重语言模型的安全防护问题。由于开放权重模型可被任意下载、修改并部署在开发者控制范围之外，中心化强制保护措施的效果有限。近期研究提出 trigger-tag 机制：当模型在目标条件下被使用（如生成钓鱼内容）时，产生可检测信号。
Evaluating and Improving the Robustness of Large Language Models to Input Sequence Variations
该学位论文系统研究如何评估并提升大语言模型（LLM）对输入序列变异的鲁棒性，直面生产系统中三类现实威胁：提示注入、木马/后门植入，以及对自动质量评测指标（LLM-as-a-Judge）的操纵。作者首先提出生成式鲁棒性度量 R_stab(f)
From Network Intrusion Detection to Blockchain-Backed Endpoint Detection and Response: Mapping the Landscape of Decentralized Detection-and-Response Architectures
这是一篇系统化知识梳理（SoK）类论文，聚焦于区块链辅助的入侵检测与响应体系。作者指出，尽管面向物联网（IoT）与工业物联网（IIoT）的区块链+IDS/IPS 文献已相当成熟，但既有综述存在两个关键缺陷：其一，忽略了检测架构正从网络边界向
Where Do LLMs Decide to Break the Rules? Mechanistic Localization of Prompt Injection Compliance
该论文研究的是提示注入（prompt injection）攻击成功时，大语言模型内部究竟在何处「做出违反系统角色设定的决定」这一机制性可解释性问题。作者指出，既有工作大多停留在量化攻击成功率（即模型有多频繁地服从对抗性指令），而忽视了决策发
Practical Secrets Extraction against Black-box LLMs
研究背景: 大语言模型正越来越多地驱动 Codex、Claude Code 等自主编码智能体，而其训练语料可能包含公开仓库中泄露的凭据，或从私有开发产物中收集的机密，因此存在被模型记忆并在后续交互中泄露的风险。现有针对密钥提取的审计工作大多
Deep Learning Latency Attacks and Defenses: A Cross-Domain Survey of Availability Threats
该综述论文系统梳理了深度学习领域中长期被忽视的「可用性」威胁——延迟攻击（latency attack，亦称能耗-延迟攻击）。作者指出，对抗机器学习研究以往几乎集中在完整性（误分类、后门等），而可用性攻击通过在推理阶段额外增加计算量、能耗或
Distillation Defenses Easily Break After Reinforcement Learning
该论文研究了针对大语言模型蒸馏攻击的防御措施在攻击者后续进行强化学习训练时失效的问题。蒸馏攻击指攻击者系统性地收集闭源前沿模型的推理轨迹，并以此训练自己的模型，从而以低成本复制其推理能力。现有防御通常只在蒸馏完成后立即评估，隐含假设攻击者不
TANGO: Watermarking Masked Diffusion Language Models in Token Pairs
该论文关注掩码扩散语言模型中的文本水印问题。此类模型并行填充掩码位置且没有固定解掩码顺序，导致多数假设从左到右生成的水印方法失效：传统方法通常将每个 token 与它之前的 token 关联，但在扩散模型中，那些前序 token 可能仍处于
Climbing the Hill: Prompt Injection Red-Teaming Against Frontier Models with Curriculum Reinforcement Learning
该论文聚焦大语言模型（LLM）及其衍生的智能体（agent）应用所面临的提示注入（prompt injection）安全风险，研究如何自动化地对前沿模型开展红队测试。现有基于强化学习（RL）的红队方法通常训练一个“攻击者 LLM”来生成注入
FragToken: Amplifying LLM Inference Costs through Noncanonical Token Generation
该论文研究的是大模型推理阶段的一种新型资源消耗（成本放大）攻击面。背景是：随着 LLM 推理成本不断攀升，针对模型服务方的资源耗尽攻击日益受到关注。已有攻击通常通过触发超长或高度重复的输出来放大成本，但这依赖攻击者可控或可触发的请求，在正常
Prefilling the Reasoning Channel: Output-Prefix Attacks on Reasoning LLMs
该论文研究的是推理型大模型（Reasoning LLM）的“输出前缀攻击”。由于 LLM 本质上是自回归地消费并生成单一文本序列，只要能够在模型响应的起始位置插入一段文本（即输出前缀/prefill），其后所有 token 都会以这段内容为
OllamaDrama: Designing and Deploying a Honeypot to Measure Attacks on Exposed LLM Infrastructure
公开暴露的大语言模型（LLM）基础设施正在形成一个新的、快速增长的攻击面，但学界与业界对攻击者实际如何针对这类服务开展攻击仍了解甚少——现有工作多停留在配置错误扫描或理论风险推演，缺乏来自真实互联网流量的长期实证数据。为弥补这一空白，作者设
AEGIS: Audio Endogenous Guarding via Internal Signals Against Large Audio-Language Model Jailbreaks
该论文研究大型音频-语言模型（LALM）面临的异构音频越狱问题。LALM 将语言模型能力扩展到音频理解，攻击者可通过语音、环境音、音乐等音频载体构造越狱输入。作者提出的核心研究问题是：越狱成功究竟是因为模型未能识别有害意图，还是发生在识别之
ClaimMirage: When Self-Claims in Domain Names Change LLM Threat Judgments
该论文研究大型语言模型(LLM)在域名威胁判定中受到域名自身“自我声称”词汇操纵的现象,作者将其命名为 ClaimMirage:待检域名本身声称自己安全或已获授权。研究构建了品牌仿冒风格的域名集合,覆盖 64 个品牌与 5 个 LLM,共分
Seal, Then Sample: Sampled Layerwise Proofs for Verifiable LLM Inference from GPT-2 to 70B
该论文研究的是「外包大模型推理的可验证性」问题：当用户把推理任务交给第三方服务（云厂商、推理市场）时，如何让服务方向验证者证明其确实执行了指定模型的指定计算，并且没有篡改输出，同时把审计成本压到服务方可承受的水平。作者提出 Sampled
From Alignment to Access Control: A Framework for GenAI Policy Enforcement
随着生成式 AI（GenAI）应用的快速普及，用户不仅能用自然语言与大型语言模型对话，还能构建可代表自己执行多种任务的智能体（agent）。然而该领域的能力迭代速度极快，安全与保障机制的建设明显滞后，已经导致真实的安全事件发生。作者指出，“
On the security and privacy of LLMs in Mobility
该论文《On the security and privacy of LLMs in Mobility》由 Mauro Conti、Lorenzo Perinello 与 Umberto Salviati 撰写，属于 cs.AI 分类，是一
Decoding Guardrails: XAI-Guided Perturbation Analysis of Prompt Injection Detection
该论文针对 LLM 生产部署中广泛使用的分类器式护栏（以 Meta 的 Prompt Guard 2 为代表）开展了可解释性（XAI）驱动的探索性案例研究。作者指出，这类护栏被当作抵御提示注入与越狱攻击的第一道防线，但其内部决策逻辑对防御方
CASCADE Against Jailbreaks: Combination Across Stages with Controlled Attack-Defense Evaluation
该论文研究大语言模型（LLM）越狱攻击的防御问题。当前防御手段分布在推理流水线的不同阶段（例如输入改写/输入过滤、输出护栏/输出检测等），但业界仍不清楚每个阶段应部署哪类防御、以及应如何将它们组合使用。以往的实证研究由于攻击成功率定义不一致