#explainable-ai

共收录 6 条相关安全情报。

← 返回所有主题
👥 作者: Abdurrahman Tolay

本文提出了一种面向部署的可解释人工智能辅助 eBPF/XDP 缓解框架,专门针对物联网边缘网关设计。物联网环境由异构、资源受限的设备组成,这些设备安全配置薄弱、服务暴露、日志记录有限、补丁更新困难且生命周期长。传统的基于签名和阈值的控制方法在动态物联网网络中作为独立机制是不够的,而离线人工智能基准性能无法直接转化为实际部署能力。为此,本文设计了一个概念框架和研究路线图,该框架在基于 Linux 的物联网边缘网关上实现资源感知的流级人工智能辅助风险评分、事件级可解释性以及通过 eBPF/XDP 进行的有限缓解。控制器应用可逆、有时间限制的动作,并包含关键设备保护机制,更新数据包级执行状态并记录结构化日志。架构将用户空间的复杂推理和策略控制与内核中简洁的数据包处理决策分离。此外,还定义了未来硬件感知评估路径,涵盖检测质量、资源成本、响应时间、回滚行为以及合法流量保留等方面。本文未报告新的实验结果,但为后续研究和实际部署提供了理论框架。

💡 推荐理由: 该框架针对物联网边缘计算环境中的安全检测与缓解问题,结合人工智能可解释性和 eBPF/XDP 快速数据包处理能力,为资源受限设备提供了一种可行且可控的解决方案,值得安全工程师关注。

🎯 建议动作: 研究跟进

排序因子: 有可用补丁/修复方案 (+3) | 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Bernhard Kneip, Nhien-An Le-Khac, Hong-Hanh Nguyen-Le

该论文针对 Web 服务器日志的取证分析需求,提出了一种名为 CEF-Log 的上下文增强少样本思维链提示策略,用于大语言模型(LLM)。传统机器学习方法在日志检测中常被视为“黑箱”,难以提供符合法律要求的人类可读解释。CEF-Log 通过嵌入专家调查方法,设计了一个结构化的五步推理模板,引导模型学习如何分析日志,而非记忆特定模式。实验基于 CSIC 2010 数据集,仅使用四个示例便达到了 0.99 的 F1 分数,样本效率相比其他基于提示的方法提升了 10 倍。此外,论文还引入了新数据集 ForenWebLog,包含真实攻击和多步攻击序列,用于全面评估。定性分析表明,CEF-Log 生成的解释可追溯、准确,适用于取证文档,解决了传统 ML 方法的“黑箱”问题。该研究适合安全分析师、取证调查人员以及 AI 安全研究者阅读。

💡 推荐理由: 该研究将 LLM 的推理能力与取证需求结合,显著提升了日志分析的样本效率和解释性,有望改善 SOC 的告警调查流程。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Chamara Sandeepa, Bartlomiej Siniarski, Shen Wang 0006, Madhusanka Liyanage

随着物联网和移动设备中海量数据的快速增长,分布式机器学习技术日益受到关注,联邦学习(FL)作为一种保护隐私的分布式学习框架,允许多方协作训练模型而无需共享原始数据。然而,FL容易受到数据投毒攻击,恶意客户端可能通过操控本地数据或模型更新来破坏全局模型。现有防御方案多基于相似度度量或异常过滤,但缺乏对攻击者意图的深度分析,且无法提供可解释的证据来判定恶意客户端。针对这一问题,本文提出了SHERPA,一种利用Shapley加法解释(SHAP)来识别FL系统中潜在投毒者的鲁棒算法。SHERPA的核心创新在于:首先,通过SHAP值计算每个客户端对全局模型的特征贡献;然后,基于特征归因聚类开发一种新的算法来区分投毒者和正常客户端。在多个数据集上模拟了不同场景的数据投毒攻击(包括针对隐私的投毒攻击),实验表明SHERPA能够有效缓解攻击,同时提供可解释性,为聚合过程中剔除恶意客户端提供合理的依据。该方法不仅提升了防御的可解释性,还增强了对投毒行为判定的合理性。本文的研究展示了可解释人工智能(XAI)技术在联邦学习安全防御中的潜力,为后验特征归因在对抗数据投毒攻击中的应用提供了新的视角。

💡 推荐理由: 联邦学习的安全性是当前AI隐私计算中的关键挑战。SHERPA提供了可解释的鲁棒防御机制,能帮助安全团队理解为何将某客户端标记为恶意,从而提升联邦学习系统的透明度和可信度。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Md. Arifur Rahman, B. M. Taslimul Haque, Md. Iqbal Hossan, Md. Serajul Kabir Chowdhury Rubel

本文针对分布式基础设施系统(包括云计算、物联网和边缘架构)面临的日益扩大的攻击面与复杂威胁,提出了一种认知威胁情报与可解释联邦安全分析框架。传统集中式入侵检测方法在可扩展性、数据隐私、通信开销以及AI决策透明性方面存在局限。该框架融合联邦学习(FL)、可解释人工智能(XAI)和认知安全分析,实现跨分布式网络的协作式隐私保护威胁检测。其核心是:各分布式节点本地独立训练安全模型,仅通过联邦聚合机制共享加密的模型参数与更新,而非原始网络流量数据,从而提升隐私保护、降低通信依赖与集中风险。在智能威胁分析方面,框架集成了Random Forest、XGBoost、Autoencoder等机器学习和深度学习算法,并通过XAI提供可解释的检测结果,增强安全分析师对AI决策的信任。实验设计与性能评估部分在摘要中未详述,但作者声称该框架在隐私保护、检测准确率和解释性方面优于传统方法。本文适合联邦安全、可解释AI及分布式系统安全领域的研究者与从业者阅读。

💡 推荐理由: 提出了一种结合联邦学习与可解释AI的实用框架,直接回应分布式环境下数据隐私与检测透明性的核心矛盾,为蓝队构建隐私合规的威胁检测系统提供了新思路。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Samuel Ndichu, Tao Ban, Seiichi Ozawa, Takeshi Takahashi, Daisuke Inoue

本文提出了一种名为NLLog(Natural-Language Log)的轻量级日志异常检测管道,旨在解决系统日志因模板化格式导致难以被自动化分析和人工理解的问题。NLLog的核心思想是将解析后的日志模板确定性重写为“谁-做了什么-严重程度”(WHO-WHAT-SEVERITY)的自然语言句子,然后通过词频-逆文档频率(TF-IDF)加权进行池化,使用树集成(如随机森林)对会话进行分类,并利用TreeSHAP反向投影证据以辅助分析师审查。在Hadoop分布式文件系统(HDFS)和Blue Gene/L(BGL)数据集上的实验表明,NLLog超越了两种复现的匹配协议基线;在HDFS、BGL和AIT警报数据集上,NLLog在商用硬件上实现了低误报率,延迟适合安全运营中心(SOC)的初步分类。消融实验(覆盖度、稀疏vs密集、忠实性、对抗性测试)表明,回退充分性依赖于语料库;部署前的注册阶段覆盖度检查可以揭示需要改进的领域。可审计的确定性重写与轻量级密集编码相结合,为日志异常检测和分类提供了可衡量的表示层。该研究适合对日志分析、异常检测和可解释AI感兴趣的安全研究人员阅读。

💡 推荐理由: NLLog提供了一种轻量级、可解释的日志异常检测方法,通过将日志转换为自然语言句子降低分析门槛,适合SOC日常使用,同时保持低误报率和低延迟。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Mohammad Hossein Gholamrezazadeh, AhmadReza Montazerolghaem

本文提出一个名为XAI FL-IDS的分布式入侵检测系统框架,旨在解决传统集中式IDS存在的两大局限:隐私泄露和缺乏可解释性。当前大多数IDS依赖集中式检测,要求IoT节点将原始数据发送至服务器,不仅增加网络开销,也无法保证数据隐私;同时,传统模型仅报告攻击与否,却不解释特征如何影响决策。作者首先通过联邦学习(FL)实现隐私保护:每个节点在本地训练数据,仅将更新参数(而非原始数据)上传至中央服务器,从而消除数据转移的隐私顾虑。其次,在本地节点和中央服务器两个层级的检测结果上,均使用SHAP(Shapley Additive Explanations)进行可解释性分析,提供决策过程的详细洞察。框架包含一个中央服务器和10个客户端,采用Edge-IIoTset数据集,并在客户端间均衡分布类别。每个客户端运行XGBoost模型。实验表明,该方法在入侵检测中表现稳健,准确率超过99%,有时可达100%。联邦学习的引入保证了每个本地节点网络信息的机密性。本文贡献在于将联邦学习与可解释AI有机结合,为分布式IDS提供了隐私保护与透明度兼具的解决方案。

💡 推荐理由: 该框架同时解决隐私和可解释性两个痛点,使IDS更适用于IoT等资源受限、数据敏感的场景,为安全运营提供可追溯的决策依据。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)