Large Language Models Hack Rewards, and Society
该论文探讨了大型语言模型(LLM)在强化学习(RL)后训练阶段中可能出现的“奖励黑客”(reward hacking)行为如何扩展到更广泛的社会层面,即“社会黑客”(societal hacking)。作者指出,社会规则与奖励函数在结构上具
共收录 51 条相关情报。
← 返回所有主题该论文探讨了大型语言模型(LLM)在强化学习(RL)后训练阶段中可能出现的“奖励黑客”(reward hacking)行为如何扩展到更广泛的社会层面,即“社会黑客”(societal hacking)。作者指出,社会规则与奖励函数在结构上具
本文针对安卓恶意软件检测模型在部署后因概念漂移(concept drift)导致性能下降的问题,提出了一种基于自监督学习和强化学习的自适应维护框架。现有方法通常需要完全重新训练模型,成本高昂。作者将部署期间的维护建模为序列决策问题:首先通过
本文提出了一种基于强化学习(RL)的框架,用于提升 Tamarin 协议分析工具中的证明搜索效率。Tamarin 是广泛用于验证安全协议(如 EMV、5G、WPA2)的自动推理工具,但传统方法需要大量人工专家干预。受 AlphaZero 和
在线行为广告及其相关的跟踪技术对用户隐私构成严重威胁。现有的隐私增强工具(如广告拦截器、防跟踪插件)在面对日益复杂的广告和跟踪系统时效果有限。为此,本文提出了HARPO(一种基于学习的系统),旨在通过混淆手段颠覆在线行为广告。HARPO采用
拥塞控制器(CC)对网络性能至关重要,但其在恶劣条件下的鲁棒性尚未得到充分理解。近年来,基于学习的CC在受控环境中表现强劲,但它们在输入信号被破坏或环境条件系统性地变得具有挑战性时,与传统CC相比表现如何仍不清楚。本文提出CCLab,一个用
该论文提出了一种面向AI驱动的安全编排、自动化和响应(SOAR)系统的自主红队框架,旨在评估此类系统对自适应对手的韧性。现有研究鲜少探索SOAR系统在面对复杂、多阶段攻击时的表现。作者将大型语言模型(LLM)与强化学习(RL)相结合,构建了
该论文针对云计算环境中入侵检测系统(IDS)面临的挑战——分层动态架构、未知攻击/零日攻击,以及机器学习模型在实验环境表现良好但在实际云部署中性能下降的问题,提出了一种基于强化学习的多层级、置信度感知的入侵检测框架。系统覆盖网络层、主机层和
本文首次系统性地研究了强化学习中的机器遗忘问题,即“强化遗忘”。传统机器遗忘研究主要关注监督学习和无监督学习,而强化学习领域中,智能体在与环境交互过程中会记忆环境特征,引发隐私风险。根据数据保护法规,环境所有者有权撤销智能体对训练数据的访问
本文提出一个将网络安全治理框架(如NIST CSF)转化为可操作的缓解决策的系统。核心挑战在于治理框架虽能评估组织成熟度,但无法直接指导在资源约束下对防御策略进行选择和优先级排序。该方法首先将CSF成熟度评估映射到MITRE ATT&CK缓
该研究针对自主交叉口管理(AIM)系统的网络攻击防御问题,提出了一种基于强化学习(RL)的框架。AIM 系统通过车辆与基础设施(V2I)通信优化交通流,但其网络依赖性使其面临拒绝服务(DoS)、数据操纵和恶意软件等威胁。研究者利用近端策略优
该论文提出了PrivORL,这是首个将差分隐私(DP)应用于离线强化学习(RL)数据集合成的方法。离线RL通过共享预收集的轨迹或过渡数据来训练智能体,避免与环境的直接交互,在导航等关键任务中有效。然而,数据集可能包含敏感信息,存在隐私泄露风