推荐 3.5
Conf: 50%
该论文研究网络攻防强化学习智能体在不同仿真环境之间的策略迁移问题。现有网络攻击智能体通常只在单一模拟器中训练和评估,导致无法判断学到的策略能否迁移到其他环境,也妨碍部署与公平比较。作者指出,不同网络模拟器在状态表示、观测模型和动作空间方面差异显著,因此跨环境迁移本质上是一个对齐问题:仿真到仿真(sim-to-sim)与仿真到真实(sim-to-real)可以视为同一类底层挑战。为此,论文提出一个框架,将状态对齐与动作转换分离,使在一个环境中训练好的策略无需重新训练即可在另一个环境中运行。实验覆盖四个网络平台:CyberBattleSim、NetSecGame、CyberWheel 和 NASim,并包含 NASim 中的仿真虚拟机部署。结果表明,零样本迁移可行:在高度对齐的环境中,源策略性能可完全保持;当源策略胜率为 60.5% 时,迁移后仍能达到 45.2% 的胜率。在仿真虚拟机环境中,迁移策略与原生策略的 Jensen-Shannon 散度仅为 0.085,显示出较强的行为相似性。论文还提供了代码与基准,主要贡献在于提出跨环境策略迁移框架、构建多平台评估基准,并验证了零样本迁移和仿真到仿真/真实迁移的可行性。适合研究自主网络攻防智能体、强化学习环境标准化、策略泛化与安全仿真基准的读者。
💡 推荐理由: 对蓝队而言,理解攻防RL策略跨环境迁移能力,有助于评估仿真训练成果能否外推到真实网络,避免高估或低估自主代理能力,并为红蓝对抗、自动化防御评估与跨平台基准建设提供参考。
🎯 建议动作: 研究跟进;若团队使用网络攻防RL仿真,建议纳入内部评估,重点验证跨环境迁移风险与基准可比性
排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)