#mitre-atlas

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Suresh Tamang

该论文研究医疗影像诊断模型中的后门(训练期投毒)检测问题。作者指出,医疗行业指南已把模型投毒与对抗攻击列为需要专门防御的行业级威胁,联邦政策也要求把 AI 漏洞检测工具扩展到农村医院等关键基础设施运营方,因此面向医疗影像流水线的后门检测具有明确的合规与安全背景。目前社区中最常用的两类后门检测方法——频谱特征分析(spectral signature,基于类内表征的频域异常排序)与激活聚类(activation clustering,基于中毒样本在中间层激活空间中的聚类离群性)——通常被当作相互独立的基线分别评估,两者输出很少被结合;同时,在医学影像基准上的检测性能报告也远少于自然图像领域。本文的贡献有三点:第一,提出一个分数级融合规则,把逐类别的频谱排序得分与激活聚类标志位合成为单一逐样本投毒评分,并给出模型级一致性统计量;第二,开源实现该融合方案对应的八阶段检测流水线;第三,在一个公开医学影像基准的合成投毒变体以及 CIFAR-10 上,以 0%、1%、5%、10% 四档投毒率、每档五个随机种子进行评测,对比单独检测器与融合检测器的表现。结果显示:在医学影像基准上,融合检测器在所有非零投毒率下均达到 AUROC ≥ 0.99,说明融合在医疗影像场景下显著有效;但在 CIFAR-10 上融合并不一致地带来增益——10% 投毒率时激活聚类的真阳性率降至 0.000,频谱方法的 AUROC 也退化到接近随机(0.545),而此时攻击成功率仍高达 97.2%,表明后门已完全植入却未被检出,融合分数由于是两类信号的加权组合,也继承了这一联合失效。论文最后把检测输出映射到 NIST AI RMF 的 Measure 功能与 MITRE ATLAS 术语体系,使结论可以直接用安全与合规团队熟悉的语言表达。

💡 推荐理由: 医疗影像 AI 的后门检测长期缺乏公开基准与可复现工具。本文既给出开源八阶段流水线与融合评分方法,又诚实地暴露了方法在自然图像高投毒率下的联合失效(AUROC 退化至 0.545、攻击成功率 97.2%),对评估自身检测能力边界很有参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Anna Gazani, Spyridon Kounoupidis, Panagiotis Katsaros, Nikolaos Kekatos, Grigorios Tsoumakas, Georgios Koutidis

该论文聚焦于大语言模型(LLM)被引入安全运营中心(SOC)后所引入的新型攻击面。作者指出,将 LLM 用于威胁情报的聚合、解读与优先级排序虽然显著提升了分析效率,但同时也打开了间接提示注入(indirect prompt injection)的通道:攻击者可将恶意指令嵌入系统日志、告警字段等本应被视为"数据"的内容中,借助日志投毒(log poisoning)劫持 LLM 的推理逻辑,进而编排多步骤的"promptware"杀伤链,使 AI 分析代理变成攻击者的执行器。 论文将防御困境概括为一种两难:确定性规则/正则类防御计算开销低但"语义盲",无法识别语义层面伪装的注入;纯神经网络(如另一个 LLM 做判别或裁判)的语义评估虽然更聪明,却带来不可接受的延迟以及概率性判定带来的漏报与不稳定。 为此,作者提出一种神经-符号(neurosymbolic)纵深防御架构,目标是保障 AI-SOC 流水线的端到端完整性。整体分为两层加一个闭环反馈机制:第一层是确定性预过滤,利用定制化的 SIEM 解析器(decoders)在数据摄入边缘做结构化清洗与规范化,直接中和体积型填充攻击以及基于特征签名的注入;第二层在告警进入 LLM 之前,使用 NeMo Guardrails 对已结构化的 SIEM 告警实施严格的自检式语义边界校验,从而在保留语义理解能力的同时限制模型输出空间。此外,架构集成了闭环遥测系统,把被拦截攻击的可见性直接呈现在 SOC 控制台中,实现人在环(HITL)监督。 实验部分作者按 MITRE ATLAS 分类法组织评估,针对多种提示注入场景进行测试。结果显示该协同方案能有效拆解 promptware 杀伤链,用可验证的约束约束 LLM 的随机性,并为下一代 AI-SOC 提供具备高可观测性的弹性防御机制。

💡 推荐理由: SOC 正在快速把 LLM 接入告警分诊与威胁情报流程,而日志本身是攻击者可控的输入,日志投毒型间接提示注入因此成为可直接落地的现实威胁。该工作给出了确定性预过滤 + 语义护栏的分层方案,并映射 MITRE ATLAS,为蓝队设计 AI-SOC 防护边界提供了可参考的架构模板。

🎯 建议动作: 研究跟进:评估将确定性预过滤与语义护栏分层架构纳入内部 AI-SOC 试点,并同步按 MITRE ATLAS 梳理自家提示注入检测用例。

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)