Verifying Intent and Harm: A Unified Defense Against LLM-Generated Threats
随着大型语言模型（LLM）在交互式应用中的广泛部署，它们面临来自对抗性交互的威胁，这些交互可能诱导模型输出有害、欺骗性或违反政策的内容。现有防御通常单独分析用户提示或生成输出，但许多真实世界的攻击利用了提示中表达的对抗意图与响应中呈现的可操
#LLM
共收录 2152 条相关情报。
← 返回所有主题Governing Actions, Not Agents: Institutional Attestation as a Governance Model for Autonomous AI Systems
本文针对自主AI代理可能执行具有重大影响且不可逆的操作（如临床处方和软件部署）这一现实问题，提出了一种新的治理模型。核心思想是借鉴人类社会中机构管理强大自主行动者的方式：不监控其推理过程，而是在关键行动点要求独立认证的证据。作者将这种制度模
CyberChainBench: Can AI Agents Secure Smart Contracts Against Real-World On-Chain Vulnerabilities?
该论文提出了CyberChainBench，一个用于评估基于大型语言模型（LLM）的智能合约安全代理的基准测试。基准测试涵盖三个互补任务：漏洞检测、利用生成和补丁合成。它基于来自DeFiHackLabs的541个真实世界利用事件构建，跨越9
Data Facts: A Metadata Schema for Structured Data Exchange in the NANDini Multi-Agent Ecosystem
本文提出 Data Facts，一种轻量级 JSON 元数据模式，用于 NANDINI 多智能体生态系统中的结构化数据交换。NANDINI 旨在让智能体自主创建、处理和交换数据以驱动大规模决策，但现有协议（如 NANDA、A2A、MCP）仅
Detect, Unlearn, Restore: Defending Text Summarization Models Against Data Poisoning
该论文针对在微调阶段对大型语言模型（LLM）进行数据投毒攻击的防御问题展开研究。在抽象文本摘要任务中，微调数据集通常较小，攻击者可通过操纵少量训练样本，使模型生成有偏见或有害的摘要，同时保持标准评估指标正常。论文提出了一种统一的防御框架，可
RAS: Measuring LLM Safety Through Refusal Alignment
该论文提出了一种名为 SafeVec 的白盒 LLM 安全评估方法。传统方法通过查询模型并判断输出是否违规来评估安全性，但这种方法成本高、受评判器影响大且依赖固定题库。SafeVec 从内部表示层面入手：首先从安全对齐的参考模型中提取逐层的
Probabilistic Agents in Deterministic Audits: Evaluating Multi-Agent Systems for Automated Audits Based on the German IT-Grundschutz
本文针对NIS-2指令下中小企业面临的风险管理合规压力，聚焦德国联邦信息安全办公室（BSI）制定的IT-Grundschutz（IT-GS）认证自动化问题。IT-GS认证依赖大量人工文档、验证与修订，成本高且难以规模化。作者在前期概念框架基
An Approach for a Supporting Multi-LLM System for Automated Certification Based on the German IT-Grundschutz
本文提出了一种新颖的方法，利用多大型语言模型系统（MLS）与混合检索增强生成（HybridRAG）技术，实现BSI IT-Grundschutz认证的半自动化。研究背景是欧盟NIS2指令的出台导致更多企业需要获得信息安全认证，但专业认证人员
CrypFormBench: Benchmarking Formal Analysis Capability of Large Language Models for Cryptographic Schemes
该论文提出了CrypFormBench，一个用于评估大型语言模型（LLM）在密码方案形式化分析能力的综合性基准。手动形式化分析密码方案需要大量专业知识和劳动力，虽然已有模型检测工具（如Scyther、Tamarin）和计算安全工具（如Cry
How Reliable Is Your Jailbreak Judge? Calibration and Adversarial Robustness of Automated ASR Scoring
该论文系统性地评估了用于衡量大语言模型（LLM）越狱攻击成功率的自动化裁判（ASR评分器）的可靠性。研究背景是：几乎所有关于LLM越狱和提示注入的论文都报告攻击成功率（ASR），但这些ASR通常由自动化裁判（专用安全分类器或通用聊天模型）打
Representation Matters: An Empirical Study of Program Representations for LLM Vulnerability Reasoning
本论文针对大语言模型（LLM）用于自动化漏洞检测时，程序结构与语义信息的表示方式这一关键问题进行了实证研究。作者指出，当前的提示工程方法通常直接提供原始源代码，但这一做法缺乏理论支撑，且可能引入冗余信息导致推理效果下降。为此，论文构建了Re
Decoupling Reconnaissance and Exploitation: Measuring the Capability Boundaries of LLM-Based Web Penetration Testing
该论文针对大语言模型（LLM）在自动化渗透测试评估中存在的错误级联问题，提出了一种两阶段解耦评估框架。现有端到端黑盒评测因早期侦察失败会掩盖代理的实际漏洞利用能力，导致评估结果无法准确反映模型真实水平。作者通过真实漏洞上下文注入（groun
HelpBench: Assessing the Ability of LLMs to Provide Privacy, Safety, and Security Advice
本文提出了HelpBench，一个用于评估大型语言模型（LLM）在数字隐私、安全和安全建议方面提供准确帮助能力的基准测试。研究团队从真实用户场景中精选了450个问题，涵盖账户恢复、双因素认证权衡、可疑邮件识别、设备追踪等典型情境。针对每个问
FirmCure:Towards Autonomous and Adaptive Rehosting of Linux-Based Firmware
该论文提出了 FirmCure，第一个基于大语言模型（LLM）的全系统固件重托管框架，旨在自动化和自适应地重托管 Linux 固件。现有固件重托管方法在处理定制化设备时，由于专用架构和硬件依赖配置，导致初始化及运行时障碍严重依赖专家干预，效
Red-Teaming the Agentic Red-Team
本文首次对当前最常用的用于 offensive security 操作的 agentic 系统进行了深入的安全分析。研究表明，大多数此类工具存在共同的设计缺陷，使得活跃攻击者能够窃取 API 密钥、建立持久化立足点，并完全控制操作者的机器，
Poisoned Playbooks: Demystifying Knowledge Poisoning Effects on AI Security Agents
本文研究了针对基于检索增强生成（RAG）的AI安全代理的知识投毒攻击。随着安全代理越来越多地依赖RAG从外部知识源（如CVE报告、CTF write-ups）获取漏洞分析和利用推理信息，攻击者可以通过注入恶意构造的write-up（称为Po
Securing LLM-Agent Long-Term Memory Against Poisoning: Non-Malleable, Origin-Bound Authority with Machine-Checked Guarantees
该论文关注大语言模型（LLM）代理长期记忆中的投毒攻击与防御问题。LLM代理依赖持久化记忆体来跨会话存储信息，但攻击者可以在一次会话中注入恶意内容，诱导后续会话执行有害操作（如转账、修改权限、数据泄露）。现有防御方案主要基于两种信任信号：内
AutoSpec: Safety Rule Evolution for LLM Agents via Inductive Logic Programming
本文提出 AutoSpec 框架，针对大语言模型（LLM）智能体在自动化复杂任务时面临的安全规则设计困境：手工规则过于保守（高误报）或过于宽松（漏报），而神经分类器缺乏可解释性。AutoSpec 基于归纳逻辑编程（ILP）的计数器示例引导归
Decoherence as Defence and the Magnitude of Noise Regularisation: A Rigorous N -Qubit Theory of Stochastic Quantum Neural Networks for Adversarially Robust Network Intrusion Detection
本文提出了一种基于随机量子神经网络（SQNN）的对抗鲁棒网络入侵检测方法。作者首先通过随机主方程和向量化的Liouvillian形式给出了N量子比特的严格理论框架，证明了退相干-收缩定理：在L层纠缠层上强度为γ的去极化通道会使每个权重为w的
Privacy-Preserving Data Deduplication for Enhancing Federated Learning of Language Models.
本文针对联邦学习场景中数据去重面临的隐私和可扩展性挑战，提出了一种高效隐私保护的多方去重协议 EP-MPD。在联邦学习中，不同客户端的数据可能存在重复样本，去除这些重复能提升模型性能并节省训练时间与能耗。然而，传统去重需要聚合各方数据，会泄