#neurosymbolic

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Anna Gazani, Spyridon Kounoupidis, Panagiotis Katsaros, Nikolaos Kekatos, Grigorios Tsoumakas, Georgios Koutidis

该论文聚焦于大语言模型(LLM)被引入安全运营中心(SOC)后所引入的新型攻击面。作者指出,将 LLM 用于威胁情报的聚合、解读与优先级排序虽然显著提升了分析效率,但同时也打开了间接提示注入(indirect prompt injection)的通道:攻击者可将恶意指令嵌入系统日志、告警字段等本应被视为"数据"的内容中,借助日志投毒(log poisoning)劫持 LLM 的推理逻辑,进而编排多步骤的"promptware"杀伤链,使 AI 分析代理变成攻击者的执行器。 论文将防御困境概括为一种两难:确定性规则/正则类防御计算开销低但"语义盲",无法识别语义层面伪装的注入;纯神经网络(如另一个 LLM 做判别或裁判)的语义评估虽然更聪明,却带来不可接受的延迟以及概率性判定带来的漏报与不稳定。 为此,作者提出一种神经-符号(neurosymbolic)纵深防御架构,目标是保障 AI-SOC 流水线的端到端完整性。整体分为两层加一个闭环反馈机制:第一层是确定性预过滤,利用定制化的 SIEM 解析器(decoders)在数据摄入边缘做结构化清洗与规范化,直接中和体积型填充攻击以及基于特征签名的注入;第二层在告警进入 LLM 之前,使用 NeMo Guardrails 对已结构化的 SIEM 告警实施严格的自检式语义边界校验,从而在保留语义理解能力的同时限制模型输出空间。此外,架构集成了闭环遥测系统,把被拦截攻击的可见性直接呈现在 SOC 控制台中,实现人在环(HITL)监督。 实验部分作者按 MITRE ATLAS 分类法组织评估,针对多种提示注入场景进行测试。结果显示该协同方案能有效拆解 promptware 杀伤链,用可验证的约束约束 LLM 的随机性,并为下一代 AI-SOC 提供具备高可观测性的弹性防御机制。

💡 推荐理由: SOC 正在快速把 LLM 接入告警分诊与威胁情报流程,而日志本身是攻击者可控的输入,日志投毒型间接提示注入因此成为可直接落地的现实威胁。该工作给出了确定性预过滤 + 语义护栏的分层方案,并映射 MITRE ATLAS,为蓝队设计 AI-SOC 防护边界提供了可参考的架构模板。

🎯 建议动作: 研究跟进:评估将确定性预过滤与语义护栏分层架构纳入内部 AI-SOC 试点,并同步按 MITRE ATLAS 梳理自家提示注入检测用例。

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Ankita Samaddar, Sandeep Neema, Daniel Balasubramanian, Xenofon Koutsoukos

该论文针对现代网络中智能自主网络防御代理的需求,提出了一种基于模仿学习的红队(攻击者)策略学习技术。研究背景是:随着网络攻击日益复杂,防御代理通常通过强化学习训练,采用神经符号方法(例如行为树与学习组件结合)来学习、推理、适应和执行安全规则。然而,在部分可观测系统中,防御者无法直接观测到攻击者的行动,难以预测红队行为、学习红队策略或评估攻击者的入侵程度。为解决这一问题,论文提出一种策略学习技术,利用模仿学习来学习具有离散状态和离散动作的部分可观测强化学习代理的策略。该方法在自主网络环境中应用,通过网络观测和防御者行动来预测红队代理的行动。与神经符号网络防御代理集成后,该方法能够有效处理不同的红队策略,并在多种模拟场景中实现高预测准确性。主要贡献包括:提出一种结合模仿学习的策略学习框架,使防御代理能够从观测中推断攻击者意图;在部分可观测的离散动作空间中验证了方法的有效性;通过实验展示了对于不同红队策略的泛化能力和高准确率。该研究适合对自主网络安全、强化学习、神经符号系统以及攻击预测感兴趣的研究人员和工程师阅读。

💡 推荐理由: 该研究为防御者提供了一种从观测数据中预测攻击者行为的可行方法,有助于提升自主防御代理的态势感知能力和主动响应能力。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)