Frequency Is Not Sensitivity Identifying Safety-Sensitive Experts in Sparse MoE LLM
本文研究稀疏混合专家(MoE)大模型的一个安全问题：在不重新训练的前提下，只要压制少量被路由选中的专家(experts)，模型的拒答行为就会明显减弱。因此“应当压制哪些专家”本身就是一个安全评估问题。业界常用的判据是专家的激活频率(acti
#moE
共收录 9 条相关情报。
← 返回所有主题Backdoor Containment via Expert Quarantine and Shutdown in LLMs
该论文研究大型语言模型（LLM）后门防御问题。被植入后门的 LLM 在正常输入上表现正常，但在隐藏触发器下会产生攻击者指定的输出。现有防御覆盖训练前、训练中、训练后和推理时四个阶段，底层策略可归为两类：一是抑制后门学习，例如过滤投毒数据或在
How Fragile Is Safety Alignment at Frontier Scale? A Single-Direction Attack on a 320B MoE
该论文研究的是：在开放权重语言模型上被广泛引用的「方向消融（directional ablation）」白盒攻击，是否在从前沿稠密模型迁移到大规模混合专家（MoE）架构后依然成立。所谓方向消融，是指不需要基于梯度的训练、也不需要任何优化，仅
WoE Wrote It? Watermarking Mixture-of-Experts LLMs for Black-Box Text Provenance
大型语言模型（LLM）水印技术为文本溯源提供了机制，使模型所有者能够识别机器生成内容并归属到特定水印模型。然而，现有LLM水印方法主要依赖推理时采样器，且聚焦于密集模型。这类方法仅在文本通过模型所有者受控API显式生成时有效，在模型被窃取或
Policy-Masked Private Experts: Auditable and Reversible Capability Access Control in Sparse MoE Models
该论文研究了一个新颖的系统安全问题：能否通过可信授权机制，在稀疏混合专家（MoE）大语言模型中控制新训练参数的可见性与可执行性，从而实现细粒度的能力访问控制。传统访问控制只限制模型输出行为，但所有请求仍可调用全部计算参数；本文提出了一种名为
WaterMoE: Expert-Routing-based Watermarking for High Fidelity and Efficiency
本文针对大型语言模型（LLM）水印技术在实际部署中面临的两大挑战——模型性能严重下降和额外推理开销——提出了基于混合专家（MoE）架构的水印方案 WaterMoE。作者首先构建了一个涵盖多种生成任务的综合基准，系统评估了9种代表性水印方法，
PathMark: Protecting Intellectual Property of Mixture-of-Expert LLMs via Path Watermarks
本文关注于混合专家（MoE）大型语言模型的知识产权保护问题。现有的水印方案主要针对密集模型设计，假设水印参数被持续激活，但MoE的动态路由机制打破了这一假设，导致传统水印无法直接应用。此外，MoE模型存在两个关键脆弱性：脆弱的决策边界和路由
RouteScan: A Non-Intrusive Approach to Auditing MoE LLMs Safety via Expert Routing Telemetry
本文针对混合专家（MoE）大规模语言模型在部署中的安全审计问题，提出了一种非侵入式的审计框架RouteScan。现有的基于内容的审计方法需要访问用户提示、模型输入或生成输出，这可能导致敏感用户信息泄露，在LLM安全性与用户隐私之间产生根本性
Safety-Oriented Routing Analysis of Mixtral MoE Under Benign and Harmful Prompts
本文系统分析了Mixtral 8x7B-Instruct稀疏混合专家（MoE）模型在良性提示和有害提示下的路由行为。研究采用两种互补信号：基于专家选择频率的激活路由得分和基于路由器-门灵敏度的梯度得分，从专家级和层级两个尺度进行剖析，并开展