Safety Beyond the Interface: Detecting Harm via Latent States in Large Language Models
该论文关注大语言模型（LLM）安全防护基础设施的部署成本问题：当前主流做法是在模型外部串接独立的护栏模型（guardrail model）对输入输出做有害性判定，但这类外部防护会带来显著的推理延迟与算力开销，在资源受限、时延敏感的场景（如边
#cs.AI
共收录 1652 条相关情报。
← 返回所有主题Closed-World Resolution Against Tool Hallucination in LLM Agents
该论文研究的是工具增强型 LLM Agent 中一个被现有方法系统性忽视的失效模式：模型会调用根本不存在的工具，并传入任何 schema 都未声明的参数（即工具幻觉）。作者指出这不是「工具选错」问题，也不是「权限过大」问题——现有防御分两类
MAGS: Multi-agent Auto-formalization Guarantees Safety for Agentic Outputs
背景与问题：LLM 编码智能体（coding agent）如今能够以远超人工审查速度的规模生成复杂程序，这带来了显著的安全与可靠性风险。常见检测手段——模糊测试、静态分析、LLM-as-a-Verifier——虽然能发现大量缺陷，但难以覆盖
AUDITPLAN: Commit, Then Answer for Auditable Safety Alignment
该论文针对当前大模型安全对齐流水线的一个结构性缺陷：训练与评估只评判模型的最终答案，因此无法区分「真正稳健的拒答」与两类不良捷径——(1) 对良性请求的一律拒答（过度拒答），(2) 理由写得漂亮、看似安全但并未真正约束答案的「不忠实安全解释
Securing quantum error correction against misleading advice from AI agents
该论文研究一个 AI 与量子计算交叉的安全问题：攻击者能否通过影响 AI 顾问（AI adviser）的建议，诱导量子纠错（QEC）系统采纳有害的恢复（recovery）更新。作者首先指出了一个被忽视的信息歧义：在被动 syndrome（伴
ASLEval: Measuring Privacy Exposure Displacement in LLM Agent Sessions
该论文关注工具调用型 LLM 智能体（tool-using LLM agent）的隐私评估方法学缺陷。现有评估通常只检查某个被指定的动作、最终回复或攻击者报告，这类局部代理（local proxy）在多步会话中容易漏掉发生在其他位置的未授权
PAPC: Platform Mediation for Privacy-Propagation Externalities in AI-Mediated Workflows
该论文研究的是 AI 中介平台（AI-mediated platform）中的隐私泄露新形态。在此类平台里，不同委托方（principal）由各自的 LLM 智能体代为行动，任务通过多智能体协作完成。作者指出：隐私损失并不只在最终答案生成时
Echo: Learning-based Matching Decompilation using Trusted Back Translation
本文提出 Echo，一个基于“可信反向翻译（trusted back-translation）”的匹配式反编译系统。研究背景是：神经反编译器虽能从二进制中恢复可读、可重新编译的源代码，但其输出缺乏可信度保证——模型可能生成语义上与原始程序不
MiST: Mid-Training LLMs for Cybersecurity
网络安全领域兼具高风险决策属性与高度专业化的技术语言，对通用大语言模型构成显著挑战。该论文提出 MiST（Mid-trained Security Transformer），包含 8B 与 32B 两个参数规模的模型系列，均在公开网络安全基
Collective Loss of Control in LLM Agent Systems: An Epidemic Account of Mutation, Contagion, and Recovery
该论文提出用流行病学框架（accidental mutation / contagion / recovery，即意外突变、传染、恢复）来解释多智能体 LLM 系统如何从局部偏差演化为集体失控。核心论点是：单个智能体的偶发偏差充当“种子”，
Autonomy in Check: Governor-Mediated Adaptive Security at the Edge
该论文关注网络边缘场景下自适应安全机制的一个根本性风险：随着自动化规划器（规则式控制器、学习型策略、LLM 辅助智能体）越来越多地把观测结果直接转化为执行动作，一旦规划器能够影响实时策略状态，仅靠语法层面的合法性校验已不足以保障安全。一个由
Who Audits Whom, on What Substrate, with What Evidence? An Independence-Graded Audit Protocol for Agentic AI
本文针对智能体式 AI（agentic AI）系统的审计独立性问题，提出了一套分级审计协议。当前智能体系统能够自主规划、调用工具并在有限监督下行动，它们既是被审计对象，也越来越多地充当审计者；然而作为保证体系基石的“独立性”仍被当作二元属性
PentestChain: A Cost-Aware, MCP-Orchestrated Framework for Automated Penetration Testing with Free-Tier LLMs
该论文提出 PentestChain，一个面向自动化渗透测试的十阶段框架，核心动机是解决 AI 驱动渗透测试的成本可及性问题。作者指出，此前基于 GPT-4 等前沿闭源模型（premium frontier models）的自动化渗透测试虽
Reflections on Trusting Trust, Revisited: Contaminating Self-Modifying AI Coding Agents with Poisoned Benchmarks
该论文重新审视了 Thompson 在《Reflections on Trusting Trust》中提出的编译器后门问题，将其扩展到自我修改的 AI 编码代理场景。传统攻击中，被污染的编译器即使重新编译干净源码也会重新插入后门；作者提出疑
Physics-Constrained Digital Twins for Sensor Integrity in Urban Pedestrian Flow: Detecting Stealthy False Data Injection with Conformal Guarantees
城市行人计数系统如今为经济指标、城市规划与公共安全运营提供数据支撑，但这些系统之上的数字孪生普遍把输入计数流当作真值处理。本文研究该假设不成立时的后果，首次为城市尺度的行人感知场景形式化定义「隐蔽式虚假数据注入」问题。与电力网络、供水网络相
Making AI-Assisted Claims Independently Challengeable: Publication Authority and a Protocol for Falsifiable Publication Records
论文关注一个在 AI 辅助内容生产中日益突出的治理问题：当证据、分析过程、人工授权、对外呈现以及勘误历史分别指向不同的状态时，AI 辅助产生的结论会显得具有权威性，实际上各环节并不自洽。作者指出，现有的出处（provenance）、远程证明
What Breaks Local Watermarks? A Robustness Benchmark for Local Invisible Image Watermarking
局部图像水印（local watermarking）与传统的全图水印不同，它只把不可见信号嵌入到图像的特定区域内，而不是平铺到整幅图像上，因此可以从某个目标物体或指定区域中恢复出载荷（payload）并给出该区域的大致定位（localiza
The MAL Simulator: Cyber Operations Simulation based on Attack & Defense Graphs
该论文介绍了 MAL Simulator（MAL 模拟器），一个基于 Meta Attack Language（MAL）构建的网络攻防行动模拟器，定位为面向决策驱动的网络攻击与防御仿真平台，用于系统分析以及自动化智能体（agent）的训练与
A Cyber Range Evaluation of Autonomous Network Incident Response Agents
该论文关注一个在安全自动化和自主化趋势下日益重要的问题：自动化网络入侵响应智能体（agent）在真实感较强的环境中究竟表现如何，以及其效能受哪些因素影响。作者没有停留在仿真器或简化基准上，而是选择了一个原本用于人类操作员培训的网络靶场（cy
Permutation-Based Stegomalware in Large Language Models: Threats and Countermeasures
该论文研究的是大语言模型（LLM）供应链中的隐写恶意软件（stegomalware）威胁：由于 LLM 训练成本极高、生态高度依赖第三方开源权重，攻击者可以把恶意负载直接编码进模型权重文件中，从而在模型分发环节完成投递。此前的相关工作曾利用