SCRUB-FL: Sanitizing and Cleansing Representations via Unlearning of Backdoors
联邦学习（FL）允许多方协作训练模型而不共享原始数据，但分布式特性使其易受后门攻击——恶意客户端在本地训练数据中嵌入隐藏触发器，操纵模型预测。现有防御主要在聚合前或聚合中生效，无法完全消除收敛后全局模型中残留的后门行为。此外，服务器在训练后
#cs.AI
共收录 1670 条相关情报。
← 返回所有主题The Geometry of Refusal: Linear Instability in Safety-Aligned LLMs
该论文研究了大型语言模型（LLM）中安全拒绝机制的几何特性。作者提出了一种名为“对比对数几率引导”（CLS）的零优化框架，通过对比安全系统提示和不受限系统提示下的隐藏状态，提取出“拒绝方向”。与以往干预内部激活的表示工程方法不同，CLS直接
Confidently Wrong: Severity-Aware Calibration of Prompt-Injection Detectors under Attack Shift
本文研究提示注入检测器在攻击分布迁移场景下的置信度校准问题。当前检测器通常将模型对输入的打分与固定阈值比较，决定是否拦截。然而，实际攻击分布（如间接注入、越狱变体）可能偏离模型训练或调优时使用的干净基准分布，导致检测器在未知攻击上表现不稳定
From CVE to CWE: Syscall-Based HIDS Generalisation
该论文研究了基于系统调用轨迹的主机入侵检测系统（HIDS）在从已知漏洞（CVE）泛化到同一弱点类别（CWE）中新漏洞时的表现。传统HIDS通常对单个CVE进行训练和评估，但实际运营中需要识别已知弱点类型的新攻击。作者利用LID-DS-202
Revelio: Cost-Efficient Agentic Memory Safety Vulnerability Detection For Repository-Scale Codebases
本文提出 Revelio，一个面向仓库级代码库的内存安全漏洞检测智能体框架。内存安全漏洞（如缓冲区溢出、释放后使用等）即使在经过大量模糊测试和人工审计的项目中仍然存在。现有基于大型语言模型（LLM）的方法虽有潜力，但存在幻觉、不可靠且难以扩
$π$-RAG: Oblivious Retrieval via Semantic Quantization and Transcendental Addressing for Large Language Models
本文提出了一种名为 π-RAG 的新型架构，旨在解决传统检索增强生成（RAG）系统中向量嵌入暴露于潜在反转攻击和非确定性检索失败的问题。核心创新在于利用数学常数 π 的数字作为超然熵源，构建一个不可变的间接层，将大型语言模型（LLM）与敏感
AgentRiskBOM: A Risk-Scoping Security Bill of Materials for Agentic AI Systems
代理型AI系统（Agentic AI systems）能检索私有上下文、调用工具、写入文件、调用外部服务、与其他代理协作，并且可能在未经人类批准的情况下行动。现有的物料清单（BOM）制品（如SBOM、AIBOM、MLBOM）虽然提高了依赖项
Harness-MU: A Safe, Governed, and Effective Harness for Multi-User LLM Agents
本文针对多用户大语言模型（LLM）智能代理在协作流程中面临的治理挑战，提出了一种名为 Harness-MU 的模型无关、零微调基础设施框架。当前LLM的单用户训练范式与多主体治理所需的硬约束之间存在根本性不匹配，导致基于提示的概率性防护措施
Safe to Check, Unsafe to Use: Relinking at the Compression Boundary of LLM Agents
该论文发现了一种针对大语言模型（LLM）代理的新型漏洞，名为“relinking”（重链接）。当前，许多LLM代理系统使用基于摘要的提示压缩技术来缩短长上下文，但在压缩边界上存在安全缺陷：安全过滤器检查的是压缩前的原始提示，而后端系统实际执
Evaluating LLMs for Real-World Web Vulnerability Detection
该论文评估了六种前沿和开放权重的大型语言模型（LLMs）在实际Web漏洞检测中的能力，专注于WordPress插件中的静态分析。研究涵盖了SQL注入、存储型跨站脚本、路径遍历和远程代码执行四类漏洞，使用了五种不同结构、范围和复杂度的提示设计
Sovereign Execution Brokers: Enforcing Certificate-Bound Authority in Agentic Control Planes
本文针对自主代理在云、部署和数据控制工作流中日益增长的应用场景，提出一个关键安全问题：生产环境的变更权限不应存在于非确定性推理过程中。现有访问控制机制主要授权身份，而保证层认证提议的操作，但两者都无法在变更执行的瞬间提供强制性的认证授权执行
Efficient and Sound Probabilistic Verification for AI Agents
本文针对AI代理在复杂数字环境中的安全策略验证问题，提出了一种高效且合理的概率验证框架。现有运行时监控方法通常基于Datalog等形式语言制定确定性策略，但在实际场景中，许多安全策略涉及概率性因素，例如PII检测器或解分类器在每次调用时存在
Calibration Without Comprehension: Diagnosing the Limits of Fine-Tuning LLMs for Vulnerability Detection in Systems Software
本论文研究大型语言模型（LLMs）在系统软件漏洞检测中的真实推理能力，旨在区分模型是真正理解安全漏洞还是仅依赖数据污染进行模式匹配。作者构建了CWE-Trace框架，包含834个手工精心标注的Linux内核样本，覆盖74种CWE类型，并引入
Analyzing Defensive Misdirection Against Model-Guided Automated Attacks on Agentic AI Systems
本文针对基于语言模型的自主AI系统（Agentic AI）面临的提示注入和越狱攻击问题，分析了现有防御策略的局限性，并提出了一种新型防御思路。研究表明，传统的检测-拦截（detect-and-block）策略虽然能拒绝恶意请求，但随着攻击者
Multi-View Decompilation for LLM-Based Malware Classification
本论文探讨了在缺乏源代码的情况下，利用大语言模型（LLM）对恶意软件进行二进制代码分类的问题。传统方法通常依赖单一反编译器生成的伪C代码作为LLM输入，但反编译器是有损的启发式工具，不同反编译器可能揭示同一二进制文件的不同特征。为此，作者构
LLM agent safety, multi-turn red-teaming, jailbreak benchmarks, adversarial robustness, safety-critical systems
本文提出了NRT-Bench，一个用于多轮红队测试LLM代理在安全关键系统中鲁棒性的基准。研究背景是LLM代理越来越多地被提议作为安全关键系统的监督组件，但它们在持续自适应对抗压力下的鲁棒性尚未充分表征。作者将场景实例化为一个模拟的核电站控
FFinRED: An Expert-Guided Benchmark Generation and Evaluation Framework for Financial LLM Red-Teaming
该论文提出了FFinRED，一个专家引导的金融领域大语言模型（LLM）红队测试基准生成与评估框架。现有安全基准主要针对通用对抗性场景，缺乏金融特有的风险（如监管违规、欺诈助长、系统性信任侵蚀）。FFinRED通过与金融专家合作，采用新颖的两
SafeSpec: Fast and Safe LLM via Dynamic Reflective Sampling
大型语言模型（LLM）的推测性推理（speculative inference）虽然能加速解码过程，但本身不提供任何安全保障。现有的安全防御方法大多与推测性推理不兼容：它们要么引入额外计算，要么破坏草稿-验证机制，从而抵消加速优势。这揭示了
Analyzing the Narration Gap in LLM-Solver Loops
该论文关注于将形式化工具（如SAT和SMT求解器）集成到语言模型推理流程中所产生的“叙述差距”问题。在安全或安全关键场景中，问题可被形式化为逻辑公式，求解器提供可验证的正确答案，但最终用户看到的是由LLM将求解器输出转化为自然语言叙述的结果
Secure Coding Drift in LLM-Assisted Post-Quantum Cryptography Development: A Gamified Fix
随着后量子密码学（PQC）的过渡，实现复杂性显著增加，要求严格遵守恒定时间执行、侧信道抗性和精确参数化。同时，大型语言模型（LLM）已深度嵌入软件开发流程，包括密码工程。尽管LLM提高了生产力，但有证据表明它们经常生成不安全或次优的代码，特