推荐 3.5
Conf: 50%
该论文研究状态对抗马尔可夫决策过程(SA-MDP),并将其建模为一场针对观测空间攻击的博弈:智能体每一步根据接收到的观测选择动作,而对手知道智能体所处的真实状态,并在一个依赖状态的邻近集合内选择一个被扰动的观测。已有工作主要聚焦马尔可夫策略,而本文针对历史依赖(history dependence)情形提出了新的解概念与计算方法。作者指出,历史依赖会显著改变均衡结果,并迫使智能体与对手双方调整各自策略,因此以往基于马尔可夫策略的结论并不充分。论文首先证明了一个否定性结论:不存在与初始状态分布无关(agnostic)的、具有历史依赖性的普适均衡策略,这意味着无法找到对所有初始状态分布一律有效的稳健策略。针对这一困难,作者给出主要成果:第一条计算初始状态相关均衡的 ε-近似解的算法路径。其核心思路是把 SA-MDP 归约为一个策略等价的、带约束的零和单侧部分可观测随机博弈(POSG),从而可借助博弈求解工具处理原问题。最后,作者在小型可解析验证的博弈上测试该算法,并展示其可扩展到更真实、更大规模的基准,包括具有 12 步预测视野的 Atari Freeway 回放。该工作为在观测可被最优对手篡改的场景下评估和设计强化学习策略提供了均衡层面的理论基础与可计算途径。
💡 推荐理由: 强化学习策略在部署时可能面对知道真实状态、可篡改观测的强对手。该文表明不存在与初始状态分布无关的普适稳健历史依赖策略,并给出计算 ε-近似均衡的首条算法路线,为评估 RL 鲁棒性上限与设计防御提供了新工具与重要限制性认识。
🎯 建议动作: 研究跟进
排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)