HaloMark: A Spectral Threshold for Embedding-Vector Watermarking under C2PA
HaloMark 论文提出了一种针对基础模型嵌入向量的水印方案，解决现有内容溯源机制（如 C2PA）无法直接应用于嵌入向量的问题。C2PA 标准通常与具有稳定位级或感知身份的资产绑定，但嵌入向量在量化、投影、微调和窗口平均等常规操作下会发生
#ai-security
共收录 102 条相关情报。
← 返回所有主题Rounding-Guided Backdoor Injection in Deep Learning Model Quantization.
本文提出了一种名为 QURA 的新型后门攻击方法，其核心攻击面是深度学习模型的量化（quantization）过程。模型量化通常被用于在资源受限环境（如嵌入式设备、移动端）中部署模型，以降低存储和计算开销。然而，作者指出这一过程本身可能引入
"Allow" to Achieve, Over-Privileged Inadvertently: The Unintended Cost of Task-Completion-Driven Pop-up Decisions in Mobile GUI Agents
本文系统研究了移动图形用户界面（GUI）智能体在任务执行中面对系统权限弹窗时的权限授予能力，将该能力定义为“权限素养”（Permission Literacy）。作者构建了一个基于任务相关性和隐私风险的四级权限框架，并通过三位独立专家对评估
BadEncoder: Backdoor Attacks to Pre-trained Encoders in Self-Supervised Learning.
本论文提出 BadEncoder，这是首个针对自监督学习（Self-Supervised Learning, SSL）的后门攻击方法。自监督学习在计算机视觉中通过大量无标注图像或（图像，文本）对预训练一个图像编码器，该编码器随后可作为特征提
Achieving Interpretable DL-based Web Attack Detection through Malicious Payload Localization.
本文提出了一种可解释的基于深度学习的Web攻击检测方法，核心目标是解决深度学习模型在Web攻击检测中‘黑盒’特性导致的不可信问题。现有基于深度学习的Web入侵检测系统虽然具有较高的检测准确率，但无法向安全分析人员解释为何将某条请求判定为攻击
An AI Approach to Verified Production Cryptographic Libraries
该论文提出 CryptoProver，一个基于人工智能的系统，用于自动合成密码学库的内部规范，并生成经过 Verus 验证的证明。研究背景是：密码学代码是关键基础设施，必须正确无误，但现有形式化验证生产库仍然困难。已有的基于语言模型的证明系
Exposed by Design: A Dynamic Security Assessment of Internet-Facing MCP Servers at Scale
本文首次对互联网上暴露的 Model Context Protocol (MCP) 服务器进行大规模动态安全评估。MCP 自 2024 年 11 月发布以来迅速普及，公共互联网上可检测到超过 21,000 个服务器实例。作者结合被动发现与主
Leak It: A Probabilistic Approach to Training-Data Extraction from Black-Box Language Models
本论文针对黑盒语言模型训练数据泄露问题，提出了基于概率视角的成员推断（MIA）审计方法，并批判了传统聚合指标（如ROC-AUC）的误导性。作者首先指出，现有的MIA评估常被无模型盲基线混淆，这类基线仅通过表面文本特征就能较好区分成员与非成员
Stemma: Induced Decision Regions Reveal LLM Provenance
该论文研究了大语言模型（LLM）的来源追踪（provenance testing）问题，即判断一个待检模型是否与某个源模型属于同一训练或开发谱系。现有黑盒方法大多依赖于模型输出文本的表面特征，但这些特征在模型经过微调、适配或部署环境变化时容
On AI Safety and Security Technical Debt in Engineering AI-Enabled Systems
该论文针对人工智能（AI）系统中因复杂性、快速演化及动态数据管道所引入的新型工程负债——AI技术债务（AITD）进行了系统性综述。研究基于AI信任、风险与安全管理（AI TRiSM）原则，将技术债务重新解释为与可信性相关的维度，聚焦于AI安
Signal-based Model Access Risk Analysis for AI System Operations Security
本文针对AI系统在安全、金融、医疗等领域广泛部署后所面临的模型逃逸攻击问题，指出传统基于攻击者知识（白盒、灰盒、黑盒）的分类方法忽视了不同部署接口实际暴露信息信号（如仅输出最终决策、置信分数、中间表示或完整参数）对攻击能力的影响。作者提出了
Rethinking Penetration Testing for AI-Enabled Systems: From Resource Compromise to Behavioral Objective Violation
该论文重新思考了人工智能（AI）系统的渗透测试方法。传统的渗透测试主要评估攻击者是否能够利用软件、基础设施、配置或操作控制中的弱点实现安全相关的资源妥协（如获取数据、控制权限）。然而，在AI赋能系统中，攻击者可能通过影响提示词（prompt
Evaluating AI Models' Capability to Automate Voice Phishing Attacks
该研究通过大规模问卷调查（N=4100）和定性访谈（N=12），评估了美国成年人面对AI驱动的语音钓鱼攻击的脆弱性。研究人员利用先进的语音模型（包括Llama Full Duplex、Sesame、Gemini、OAI AVM、Play.A
When Agents Go Rogue: Activation-Based Detection of Malicious Behaviors in Multi-Agent Systems
该论文关注基于LLM的多智能体系统（MAS）面临的安全挑战。现有防御方法通常假设攻击在语义上显式可识别，并依赖显式的图结构建模MAS拓扑和Agent间交互。然而，实际攻击越来越隐蔽，且MAS执行通常是异步的，不满足图传播模型所需的时间对齐。
AutoDA: Automated Decision-based Iterative Adversarial Attacks.
该论文提出了一种名为AutoDA的自动化决策型迭代对抗攻击方法。决策型攻击是黑盒对抗攻击的一种重要形式，攻击者只能通过模型的最终决策标签（如分类结果）来生成对抗样本，而无法访问模型内部结构或置信度分数。传统决策型攻击需要手工设计攻击算法，如
Securing the AI Agent: A Unified Framework for Multi-Layer Agent Red Teaming
本论文提出了一个名为 AI-Infra-Guard 的开源框架，旨在解决 AI 智能体（Agent）安全评估中缺乏统一工具的问题。随着开源 AI 基础设施（如模型服务引擎、智能体平台、模型上下文协议 MCP 生态以及语言模型本身）的快速发展
AI-Generated PowerShell Malware: An Experimental Framework and Dataset
本文针对生成式AI在网络安全领域带来的威胁，特别关注大型语言模型（LLM）被用于生成PowerShell恶意代码的攻击事件。作者提出了一个评估LLM生成PowerShell恶意软件的实验框架，包括一种新型动态分析沙箱，用于分析AI生成的恶意
Your Space is My Zone: Demystifying the Security Risks of AI-Powered Applications on Pre-Trained Model Hubs
本文首次系统地分析了托管在主流预训练模型平台（如Hugging Face）上的AI应用（AI-Apps）的安全风险。AI-Apps通过在线推理和微调服务降低了AI采用门槛，但由于开发者不可信、隔离措施薄弱和安全配置错误，引入了新的攻击面。研
Discard the Dross and Select the Essential: Pre-query Sample Selection for Black-box Membership Inference Attacks
本文针对黑盒成员推理攻击（MIAs）中存在的查询效率问题，提出了一种预查询样本选择框架PSS-MIA。传统的黑盒MIAs对所有候选样本不加区分地进行查询，导致大量查询成本浪费在信息量低的样本上，且增加了查询暴露风险。作者首先定义了问题：哪些
TEMPO-Diffusion: Temporally Exposed Malicious Poisoning of Diffusion Models
本文提出了一种针对扩散模型（Diffusion Models）的新型后门攻击框架TEMPO-Diffusion。传统的基于噪声的后门攻击通常依赖于在推理时注入触发器、非目标激活以及生成分布外目标，这些假设降低了攻击的隐蔽性和实际相关性。TE