#topology

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Reza Fayyazi, Michael Zuzak, Shanchieh Jay Yang

本文提出了一种名为拓扑归因距离(Topological Attribution Distance, TAD)的新方法,用于解决大语言模型(LLM)在网络安全运营中输出证据归因与溯源的问题。随着LLM和Agentic AI被集成到安全运维系统中,模型生成的决策必须可信任、可追溯;当自主智能体做出正确或错误决策时,团队需要能够回溯决策链,定位究竟是哪一段输入数据导致了模型输出。现有归因方法在区分复杂且高度相似的证据源(如网络事件日志)时存在困难,无法充分捕捉检索证据与生成响应之间的整体几何关系。TAD受拓扑学启发,通过刻画模型输出在嵌入空间中的全局几何形状,并测量特定日志嵌入改变该几何形状的程度,来判断该日志是否为关键归因源。该方法采用段级消融归因(segment-level ablation attribution),对真实网络攻击事件日志进行分析,能够自适应地找出对LLM输出影响最大的日志片段。TAD利用每个LLM的隐藏状态,提供可解释、可信任的溯源能力,帮助理解几何上不同的检索日志如何影响模型生成,为网络安全和Agentic-AI工作流提供证据验证手段。实验部分展示了TAD在实际攻击日志上的有效性,表明其能准确识别关键归因日志。本文的主要贡献包括:提出基于拓扑的归因距离度量,引入段级消融归因机制,以及将几何形状变化与证据溯源相结合,弥补现有方法在复杂相似证据区分和全局几何关系捕捉上的不足。适合AI安全研究人员、LLM可解释性研究者、以及负责安全运营自动化的工程师阅读。

💡 推荐理由: 该研究为LLM输出提供了可解释的溯源方法,帮助安全团队定位导致模型决策的关键日志,增强Agentic AI在安全运营中的可信度,对证据验证和事件调查有直接价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Akarsh K. Nair, Muhammad Arifur Rahman, David Brown, Mufti Mahmud

本文研究分割学习中的隐私泄露问题,提出了一种基于拓扑复杂性(persistent Betti complexity)的隐私感知分割学习框架。分割学习通过将神经网络在客户端和服务器之间分割来实现协作训练,但不当的分割点会导致中间表示泄露敏感信息(如特征反转攻击和梯度泄漏)。作者通过逐层分析发现,隐私风险在神经网络层间高度不均匀,存在尖锐的过渡区域,仅靠网络深度无法捕捉。具体而言,在更深的隐私关键分割点,特征反转的保真度可从可忽略的重建提升至SSIM高达0.98。进一步实验表明,Betti复杂度能够一致地识别出与高风险特征空间隐私泄露相关的表示区域。基于此观察,本文提出BettiSafe,一种无需显式执行攻击即可识别隐私敏感层的拓扑引导分割选择策略。与基于深度的启发式方法相比,BettiSafe将特征反转抵抗能力提升2至5倍,同时保持分类准确率。此外,基于Betti的正则化方法在不降低模型效用的前提下,将反转难度提升近5倍,实现了有利的隐私-效用权衡。总体而言,本文表明拓扑复杂度可作为安全、自适应且表示感知的分割学习的结构性描述符,适用于现实世界的协作系统。

💡 推荐理由: 分割学习是一种流行的隐私保护协作训练范式,但现有分割策略常忽略中间表示的隐私风险。本文引入拓扑复杂性分析,无需攻击模拟即可指导安全分割,显著提升了隐私防御能力,对联邦学习和边缘智能场景有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)