本文是一篇系统化知识（SoK）论文，聚焦于机器学习管道中对手合谋的问题。现有的对抗性攻击研究通常孤立地考虑单一对手，但实际场景中对手可能通过合谋来放大攻击效果。论文首先提出一个系统化框架，涵盖两类合谋场景：（a）训练时对手与推理时对手之间的合谋；（b）推理时多个对手之间的合谋。框架识别了促成合谋的关键因素，包括对手目标、知识、能力以及攻击的时序依赖性等。基于这些因素，作者提出一套指导原则，用于推测哪些合谋组合是可能发生的。利用该指导原则，论文重新解释了先前工作中存在的隐含合谋关系，并推测了五种尚未被探索的合谋案例。随后，作者通过实验验证了这五种合谋确实存在且能显著增强攻击效果。最后，论文讨论了合谋对手的不同特征（如目标冲突、能力差异）如何影响合谋的潜力与可行性。该工作为ML安全社区提供了统一的分析视角，有助于设计更鲁棒的防御策略。适合安全研究人员、ML工程师以及对抗性机器学习领域的学生阅读。

本文系统性地研究了多模态大语言模型（MLLMs）中的隐私风险。与文本大语言模型（LLMs）不同，MLLMs同时处理文本和图像，图像中嵌入的敏感信息可能被模型提取并泄露。作者首先构建了MM-Privacy综合数据集，覆盖多种多模态任务和场景，定义了表露风险（Disclosure Risks）和留存风险（Retention Risks）。然后，他们使用MM-Privacy对多个MLLM进行了系统评估，发现模型在不同任务中均存在泄露敏感信息的问题。此外，论文还揭示了任务不一致性（task inconsistency）在隐私风险中的角色，并强调了制定缓解策略的紧迫性。实验结果表明，MLLMs的隐私风险不容忽视，亟需防护措施以防止数据暴露。该研究为多模态AI的隐私保护提供了基准和方向，适合安全研究人员和AI开发者阅读。

该论文提出了机器学习中的“学习证明”（Proof-of-Learning）概念，旨在解决模型训练完成后，训练者无法向第三方证明模型参数确实是通过给定优化过程得到的问题。现有方法无法验证训练计算的真实性，这可能导致模型所有权争议或分布式训练中拜占庭工返回错误更新。受工作量证明和可验证计算启发，作者观察到随机梯度下降（SGD）算法因其随机性会累积秘密信息（即模型更新路径上的随机梯度和参数历史），从而自然构成一种学习证明。具体而言，训练者通过发布模型参数以及一组包含中间参数和随机梯度的证明，验证者可以高效检查证明的正确性。作者通过分析和实验证明，攻击者若想伪造学习证明，所需计算量至少与执行完整梯度下降相当。论文在两个场景中实例化了该机制：模型所有权争议中，用于保护公开发布模型的知识产权；分布式训练中，用于确保训练过程的可用性，防止拜占庭工拒绝服务。实验表明，该机制对硬件（如ML加速器）和软件栈引起的方差具有鲁棒性。

本文研究基于梯度的对抗性攻击对机器学习驱动的网络入侵检测系统（ML-NIDS）的威胁，并提出一种无需显式防御的“无防御”方法：通过精心选择模型架构即可实现固有鲁棒性。作者进行了约2200次实验，在FGSM、PGD和BIM攻击下，系统性地变化网络深度、特征维度、激活函数和dropout。结果表明，较浅的网络、精简的特征集以及ReLU激活函数能够一致且协同地降低对抗脆弱性。一个遵循此原则的简单模型甚至优于更深的、经过对抗训练的完全特征模型，同时保持近乎完美的干净流量检测性能，且训练时间更短。论文强调“少即是多”，但关键在于选择正确的“少”。该研究为构建轻量级、鲁棒的ML-NIDS提供了设计指南。

本文提出了一种名为Magmaw的新型无线攻击方法，旨在针对基于机器学习（ML）的无线通信系统生成通用对抗扰动。现有针对ML无线系统的对抗攻击方法缺乏对源数据多模态性、常见物理层协议和无线域约束的全面考虑。Magmaw能够为通过无线信道传输的任何多模态信号生成通用对抗扰动，并引入了针对下游应用的对抗攻击新目标。为验证其鲁棒性，作者采用了广泛使用的防御机制，并通过软件定义无线电系统构建了实时无线攻击平台进行概念验证评估。实验结果表明，即使在强防御机制下，Magmaw仍能造成显著的性能下降。此外，在加密通信信道和基于信道模态的ML模型两个案例研究中进一步验证了其有效性。该研究揭示了ML无线通信系统在面对多模态通用对抗攻击时的脆弱性，对无线安全领域具有重要警示意义。

本文提出了一种名为“Innocent Until Proven Guilty (IUPG)”的新型深度学习训练框架，旨在解决传统分类器（使用分类交叉熵损失）在真实世界环境中面临的三个关键问题：对分布外输入给出过度自信的后验概率、对对抗性噪声的敏感性以及因分布偏移导致的性能下降。作者认为这些问题的核心缺陷是模型无法有效处理输入中的分布外内容。IUPG框架通过在输入空间中原型化训练数据簇或类别，并独特地利用噪声和固有随机类来发现所建模类别的噪声鲁棒、唯一可识别的特征。在评估中，作者使用了学术计算机视觉数据集以及用于恶意软件分类的真实世界JavaScript和URL数据集。实验结果表明，与相同拓扑结构、使用分类交叉熵训练的基线网络相比，IUPG框架在测试数据上取得了良好的分类性能，减少了因近期偏差导致的性能损失，降低了噪声样本上的误报率，并在多种基于噪声的攻击模拟中降低了脆弱性。据作者所知，这是首个展示在恶意软件黑盒附加攻击上显著降低脆弱性的工作。通过应用快速梯度符号法（FGSM），作者展示了将IUPG与现有对抗学习技术结合的潜力，并取得了显著更优的性能。该框架具有通用性，可用于任何原本可以使用分类交叉熵训练的网络拓扑。

该论文对零日攻击的本质进行了系统性的再审视，核心研究问题是：零日攻击究竟源于新颖的攻击行为还是新颖的漏洞？作者回顾了跨越20年的已记录零日攻击事件，发现这些攻击无一例外地源自对未公开漏洞（即零日漏洞）的利用，而非攻击者采用了前所未见的行为模式（TTPs）。基于这一发现，论文提出了一种基于漏洞类型的分类法，将零日漏洞分为内存破坏、逻辑错误、配置缺陷等类别，并统计了各类型在历史事件中的出现频率，结果显示内存破坏漏洞最为常见，而针对防御机制漏洞的攻击在近年呈上升趋势。作者进一步分析了现有基于机器学习（ML）的入侵检测系统（IDS）所依赖的假设，指出一个关键错位：事件报告强调漏洞利用，而许多ML检测器却旨在检测假设中的“新颖行为”，例如异常流量模式或异常系统调用。这种错位可能导致ML-IDS的零日检测能力被高估。论文认为，以漏洞为中心的方法（如自动补丁生成、内存安全强化）更贴合真实攻击机制，并呼吁业界谨慎解读行为检测的声称，同时推动开发更符合现实利用特征的自动漏洞检测框架。研究结论对于设计下一代入侵检测系统具有指导意义，强调应优先发展漏洞侧的方法，而非单纯依赖行为分析。

[MOCK] 研究: Rethinking Detection of Prompt Injection in Agentic Systems