Arbitrary Reduction of Validation Error for AI Decision Tests using Homomorphic AI and Repetition Codes
该论文提出了基于哈希的同态人工智能（HbHAI）技术，该技术利用一类新型密钥相关哈希函数，能够在保留大多数AI算法所依赖的相似性属性的同时，对加密形式的数据进行分析和处理。与现有的同态加密方案相比，HbHAI在性能上取得了显著提升，甚至优于
#cs.AI
共收录 1665 条相关情报。
← 返回所有主题Capability Gates Are Not Authorization: Confused-Deputy Failures in LLM Agent Frameworks
本文针对大型语言模型（LLM）代理框架中的授权缺失问题展开研究。随着工具调用型LLM代理越来越多地处理不受信任的内容，同时持有支付、邮件、CRM和基础设施API等易产生副作用的工具，现有框架默认将工具暴露与授权混为一谈。作者对LangCha
Why Trust Your Agent? Empirical Security Gains from TRiSM-Guided Agentic Workflows in Healthcare
该论文聚焦于基于代理的AI系统（agent-based AI）在医疗报告生成应用中的安全风险与缓解措施。通过将AI代理暴露给多个工具和资源，LLM能够自动化复杂任务，但为了提升功能和准确性，代理常被授予超出普通用户的权限，这可能导致数据泄露
RIPA: Sensory-Vector Prompt Injection Attacks on LLM-Controlled ROS 2 Robots
本论文提出了RIPA，首个针对基于ROS 2的LLM控制机器人系统的多通道感知向量提示注入攻击的系统性实证研究。研究在5个不同参数量（约4B至284B）的LLM上进行了每个攻击变体100次独立实验，涵盖DeepSeek-V4-Flash、L
Decomposing Memorization Reduction in Privacy-Preserving Fine-Tuning of SLMs for CSIRTs
该论文针对CSIRT（计算机安全事件响应团队）在微调语言模型处理漏洞扫描记录时面临的隐私风险，首次实证研究了差分隐私随机梯度下降（DP SGD）与HMAC假名化两种隐私保护技术的交互效果。研究使用1B至3B参数的小语言模型（SLMs），在结
Robust Harmful Features Under Jailbreak Attacks: Mechanistic Evidence from Attention Head Specialization in Large Language Models
本文研究大语言模型在越狱攻击下的内部机制。作者发现攻击并未完全消除模型的安全特征，而是选择性抑制特定注意力头。通过分析，识别出两类功能分化的注意力头：早期层中的“对抗妥协头”（ACH），在攻击下被抑制；以及中间层的“安全对齐头”（SAH），
ToolPrivacyBench: Benchmarking Purpose-Bound Privacy in Tool-Using LLM Agents
本文提出了 ToolPrivacyBench，一个用于评估使用工具的 LLM 智能体（Agent）在目的绑定隐私保护方面的基准。现有评估主要关注任务完成度和 API 正确性（如函数调用基准）或最终响应中的隐私泄露（如隐私判断基准），但忽略了
SHARD: cell-keyed residual splitting for alignment-resistant private dense retrieval
该论文提出了一种名为 SHARD 的防御方法，旨在保护密集向量检索（如语义搜索和 RAG）中的嵌入向量不被反演攻击。现有攻击利用密集嵌入的全局几何结构，通过少量已知对齐对即可恢复秘密全局旋转（正交 Procrustes 方法）。SHARD
It Lied to a Doctor to Buy Poison Ingredients: Quantifying Real-World Misuse of Phone-use Agents
本文首次系统研究了Phone-use Agent（手机使用智能体）在实际手机和商业应用中被滥用的安全威胁。Phone-use Agent能够代表用户在真实移动设备上端到端执行复杂任务，其能力远超命令行智能体，因此一旦被恶意利用，危害更大。研
Agentic AI-Powered Re-Identification: An Emerging, Scalable Threat to Mobility Microdata Privacy
该论文研究了一种由智能体人工智能（Agentic AI）驱动的重识别攻击方法，对移动微数据隐私构成新兴的可扩展威胁。背景是商业数据经纪商广泛收集细粒度位置数据，尽管已有研究表明移动轨迹具有高度独特性，但过往重识别攻击需要分析师大量人工操作，
LLM agents security duality: a comprehensive survey of self-security and empowered cybersecurity
本文是一篇关于大语言模型（LLM）智能体安全双重性的全面综述，聚焦于两个核心领域：（1）LLM智能体自身面临的安全威胁及缓解策略（智能体自我安全），（2）LLM智能体在赋能网络安全生命周期中的作用（智能体赋能网络安全）。首先，论文系统梳理了
PLAA: Packet-level Adversarial Attacks in Network Traffic Detection
本文针对网络流量检测中的对抗攻击问题展开研究。当前基于深度神经网络（DNN）的网络入侵检测系统（NIDS）虽然准确率高，但极易受到对抗样本的攻击。现有方法多从计算机视觉（CV）领域直接迁移对抗攻击技术，忽略了CV与NIDS之间的根本差异，导
ToE: A Hierarchical and Explainable Claim Verification Framework with Dynamic Multi-source Evidence Retrieval and Aggregation
本文提出了一种名为 Tree of Evidence (ToE) 的分层可解释声明验证框架，用于自动事实核查，以应对虚假新闻尤其是生成式引擎优化（GEO）投毒下AI生成错误信息的威胁。ToE 将每个声明建模为一个动态扩展的论证树，通过集成强
Room for Error: Large-Scale Simulation of Over-the-Air Acoustic Attacks
该论文针对语音控制系统面临的安全风险展开研究，指出当前对空中声学攻击（over-the-air acoustic attacks）的理解存在不足，主要原因在于研究社区难以将数字域对抗样本生成流程扩展至物理世界，导致关键的声学因素（如可探测性
What Was That Again? Certified Robustness for Automatic Speech Recognition
自动语音识别（ASR）系统对对抗性和良性扰动高度敏感，但现有检测方法因缺乏真实转录的先验知识而难以在部署系统中实施。本文提出一种基于认证思想的鲁棒性增强方法，通过双门控诊断管道提升系统可靠性。该管道包含两个核心模块：一是“两侧原子审计”，通
Halt Fast! Early Stopping for Certified Robustness
本文针对随机平滑（Randomized Smoothing, RS）认证方法计算开销过大的问题，提出了一种基于元学习的早停框架。传统RS需要为每个输入进行数万次模型评估，且必须预先固定样本量，导致实际部署困难。作者设计了一个轻量级元学习器，
On the Inseparability of Instructions and Data in Shared-Embedding Sequence Models
该论文研究了大型语言模型（LLM）集成应用中 prompt injection 攻击的根本原因。作者证明，在共享嵌入架构中，如果缺乏强制性的控制与数据分离，完美防御 prompt injection 在数学上是不可能的。论文形式化定义了“提
Application of LLMs to Threat Assessment of Foreign Peacekeeping Missions
该论文提出了一种利用大语言模型（LLM）支持外国维和任务威胁评估的新方法。研究基于PINPOINT项目及其在欧盟格鲁吉亚监测任务中的实际用例，结合跨学科风险模型、开源情报（OSINT）媒体收集和LLM辅助的威胁提取。工作流程将媒体报道映射到
Inherited Circuits, Learned Semantics: How Fine-Tuning Creates Evasion Vulnerabilities Invisible to Standard Evaluation
本文研究了大语言模型（LLM）在安全分类任务的微调过程中引入的隐蔽漏洞。通常，LLM在微调后会在同分布留出集上评估，但作者发现这种标准评估无法检测出微调本身带来的新脆弱性：模型可能学习到基于令牌的指示器语义，在保持正常分类准确率的同时，对行
ShareLock: A Stealthy Multi-Tool Threshold Poisoning Attack Against MCP
随着大语言模型驱动的智能体快速发展，模型上下文协议（MCP）作为一种连接LLM与外部工具的开源协议，已成为现代智能体生态系统的基础。然而，MCP的广泛应用也带来了新的安全威胁，例如工具投毒攻击（TPA），即利用LLM与服务器之间的交互注入恶