该论文提出了一种面向AI驱动的安全编排、自动化和响应（SOAR）系统的自主红队框架，旨在评估此类系统对自适应对手的韧性。现有研究鲜少探索SOAR系统在面对复杂、多阶段攻击时的表现。作者将大型语言模型（LLM）与强化学习（RL）相结合，构建了一个分层架构：高层LLM规划器负责制定战略意图（如攻击目标与阶段），底层RL控制器则根据规划进行战术执行（如具体操作选择）。通过基于杀伤链进程的奖励塑形机制，该框架能够生成自适应、多阶段的攻击行动，以测试企业网络中的自主防御代理。作者在保真度较高的企业网络仿真环境中进行了评估，结果表明该混合方法能够有效生成复杂攻击，而纯LLM架构则难以维持多阶段攻击，且专门面向网络安全的领域模型仅能达到有限的攻击效果。研究证实，单纯依赖LLM或领域模型均不足以进行有效的红队评估，混合LLM-RL方法更具优势。该工作为AI驱动的安全系统评估提供了新思路，适合红队研究人员、SOAR系统开发者及安全评估工程师关注。

该论文针对云计算环境中入侵检测系统（IDS）面临的挑战——分层动态架构、未知攻击/零日攻击，以及机器学习模型在实验环境表现良好但在实际云部署中性能下降的问题，提出了一种基于强化学习的多层级、置信度感知的入侵检测框架。系统覆盖网络层、主机层和虚拟机监控器层三层。每层使用机器学习模型检测已知攻击，同时生成预测置信度。在多层流程中，低置信度事件先后经过两个门控：学习阈值置信门（Gate-1）和Chroma记忆匹配门（Gate-2），未解决的事件被转发到大语言模型（LLM）进行语义分析和解释。最终的攻击判定在Gate-3使用校准后的LLM置信度或加权融合回退，不确定事件被保留在评审桶中避免强制分类。生成的解释和确认的知识存储在ChromaDB中支持未来分析和重训练。实验首先使用静态阈值建立基线，结果显示所提系统学会了自适应阈值，并将LLM升级率降低了58.78%，同时保持了强性能（准确率88.68%，精确率85.29%，召回率84.72%，F1分数85.00%）。网络层和虚拟机监控器层分别达到98.02%和97.08%的准确率，展示了平衡且高效的检测系统。

本文提出名为 Prεεmpt 的框架，旨在解决大语言模型（LLM）输入提示中包含的敏感信息泄露风险。现有方法要么依赖手动规则，要么无法在隐私保护与模型效用之间取得良好平衡。Prεεmpt 采用基于强化学习的智能清洗机制，能够自动识别提示中的敏感实体（如姓名、地址、身份证号等），并将其泛化为语义等价但不可直接识别的替代符，同时保留任务所需的上下文信息。具体地，框架包含一个可训练的清洗策略网络，通过奖励函数同时优化隐私保护程度和下游任务性能。在多个基准数据集（如命名实体识别、情感分析、问答）上的实验表明，Prεεmpt 相比基线方法（如随机替换、差分隐私提示）在隐私-效用权衡上取得显著提升：在保持高任务准确率（平均下降<2%）的前提下，将敏感信息泄露风险降低超过80%。此外，Prεεmpt 具备模型无关性，可灵活适配不同 LLM 架构和任务类型。该工作为构建隐私安全的 LLM 应用提供了自动化、可扩展的解决方案。

本文首次系统性地研究了强化学习中的机器遗忘问题，即“强化遗忘”。传统机器遗忘研究主要关注监督学习和无监督学习，而强化学习领域中，智能体在与环境交互过程中会记忆环境特征，引发隐私风险。根据数据保护法规，环境所有者有权撤销智能体对训练数据的访问，因此需要让智能体遗忘特定环境的知识。然而，强化遗忘面临三个独特挑战：1) 如何设计针对环境的遗忘方案；2) 如何避免遗忘过程损害智能体在其他环境中的性能；3) 如何有效评估遗忘效果。针对这些挑战，作者提出了两种强化遗忘方法：第一种基于递减强化学习，通过逐步减少目标环境中的奖励信号，使智能体逐渐擦除先前学到的知识；第二种利用环境中毒攻击，在目标环境中注入误导性反馈，迫使智能体学习错误知识以覆盖原有记忆。此外，为了评估遗忘效果，作者引入了“环境推断”概念，即通过分析智能体在目标环境中的行为来判断遗忘是否成功。实验部分（依据摘要推断）在多个连续控制环境中验证了两种方法的有效性，表明它们能在保持其余环境性能的同时实现遗忘，且环境推断能够可靠地量化遗忘程度。该研究填补了强化学习遗忘领域的空白，为隐私合规提供了新的技术路径。

本文提出一个将网络安全治理框架（如NIST CSF）转化为可操作的缓解决策的系统。核心挑战在于治理框架虽能评估组织成熟度，但无法直接指导在资源约束下对防御策略进行选择和优先级排序。该方法首先将CSF成熟度评估映射到MITRE ATT&CK缓解能力，使组织安全态势与以攻击者为中心的防御规划直接集成。为了处理对手行为的复杂性，采用可变阶马尔可夫模型（VOMM）在观察到的ATT&CK技术序列上训练，以在深度强化学习（DRL）环境中实现可扩展的对手模拟。通过集束搜索重构可能的攻击路径和防御响应，然后在明确预算约束下联合优化缓解措施的选择。该环境支持并发对手和现实缓解成本。实验在多种奖励设定和配置下表明，该方法能产生稳定的策略、有意义的成本-风险权衡以及与组织成熟度一致的可解释缓解计划。研究证明了攻击者感知的DRL能够生成基于实际框架和威胁行为的、资源受限的实用防御策略。

该研究针对自主交叉口管理（AIM）系统的网络攻击防御问题，提出了一种基于强化学习（RL）的框架。AIM 系统通过车辆与基础设施（V2I）通信优化交通流，但其网络依赖性使其面临拒绝服务（DoS）、数据操纵和恶意软件等威胁。研究者利用近端策略优化（PPO）和优势行动者-评论家（A2C）两种强化学习算法，在数字孪生仿真环境中训练智能体，使其能够实时检测并缓解上述攻击。实验结果表明，所提框架能有效提升 AIM 系统的自适应安全韧性，在保障交通效率的同时抵御恶意行为。该工作为智能交通系统（ITS）的主动防御提供了新思路，证明了强化学习在动态、高安全保障场景中的潜力。

该论文提出了PrivORL，这是首个将差分隐私（DP）应用于离线强化学习（RL）数据集合成的方法。离线RL通过共享预收集的轨迹或过渡数据来训练智能体，避免与环境的直接交互，在导航等关键任务中有效。然而，数据集可能包含敏感信息，存在隐私泄露风险。PrivORL利用扩散模型（用于过渡合成）和扩散Transformer（用于轨迹合成）在差分隐私保护下生成合成数据集。该方法采用先在公开数据集上预训练生成器，再在敏感数据集上使用DP-SGD微调的策略。此外，PrivORL引入好奇心驱动的预训练，通过好奇心模块的反馈增加合成数据的多样性，从而生成与敏感数据集高度相似且多样化的合成过渡和轨迹。在五个敏感离线RL数据集上的大量实验表明，与基线方法相比，PrivORL在DP过渡和轨迹合成中均实现了更优异的效用和保真度。论文提供了GitHub仓库的复现包。