SEAL: Reinforcing Global Safety in Mixture-of-Experts through Shared Expert ALignment
MoE(混合专家)是为扩展大语言模型而设计的架构,每个token仅激活少量专家模块,从而在计算量基本不变的情况下支持大规模参数增长。近年来的混合架构还引入共享专家以捕获有用的通用特征,进一步提升稳定性与泛化能力。MoE已被许多旗舰开源和商业
共收录 1064 条相关情报。
← 返回所有主题MoE(混合专家)是为扩展大语言模型而设计的架构,每个token仅激活少量专家模块,从而在计算量基本不变的情况下支持大规模参数增长。近年来的混合架构还引入共享专家以捕获有用的通用特征,进一步提升稳定性与泛化能力。MoE已被许多旗舰开源和商业
本文针对基于大语言模型(LLM)的多智能体系统(MAS)在跨组织协作场景下的安全问题,提出了一种隐私保护的拓扑引导安全机制。现有方法通常假设单一运营方可以汇总所有标注轨迹,在全局通信图上训练图神经网络(GNN)以定位高风险智能体并干预拓扑结
大型语言模型(LLM)的广泛应用带来了生成内容溯源与合规治理的需求。多比特水印技术通过将用户可追踪的身份信息嵌入模型输出文本,能够实现内容来源的精细化追溯。然而,现有方案普遍面临提取准确率、文本质量与载荷容量三者之间的根本性权衡。本文提出一
联邦学习中客户端的上传模型更新可能泄露隐私,私有平均聚合是跨孤岛场景的关键环节。同态加密(HE)可作为私有聚合的基础,但传统单密钥方案要求客户端与聚合器之间满足强不共谋假设;多方同态加密(MHE)虽能消除此限制,却因近期针对受限解密访问的攻
本研究针对 AI 驱动的教育系统在隐私保护与准确认知诊断之间难以兼顾的显著挑战,提出了一种隐私保护的多 LLM 联邦推理框架。传统方法通常需要集中学生原始数据或直接访问商业模型内部,导致隐私风险。该框架允许多个商业 LLM API(例如 L
文本转语音(TTS)基础模型正越来越多地被用于在私有数据集上微调以合成高度个性化的声音,但这同时引入了严重的隐私风险,因为语音既包含生物特征身份又包含敏感语音内容。现有的黑盒成员推理攻击(MIA)通常采用查询生成和表示工程两阶段流程,但直接
该研究针对基于大语言模型(LLM)的推理级联(inference cascades)系统,探讨其成本控制策略背后的可靠性代价。推理级联通常以廉价模型处理大多数查询,并将困难样本升级至前沿模型进行验证,以降低推理成本。自然的扩展是形成闭环:在
合成数据已成为机器学习研究中的常见工具,在隐私敏感场景中的应用尤其广泛。然而,作者指出一个关键转变:合成数据在实践中已从“给定假设下的残余推理风险声明”悄然转变为“由数据生成过程本身得出的外观属性”,即许多研究者默认生成出来的数据就具备隐私
本文提出并部署了名为 Private Computation Space (PCS) 的开源机器学习系统,用于在保护农户数据隐私的同时实现农业领域的联邦学习。研究背景指出,尽管人工智能有潜力改善农业实践,但采用率有限,69%的美国农民因数据
前沿语言模型通常会拒绝有害的单轮提示,但在多轮交互中,当用户逐渐表达恶意意图时,模型可能会妥协,这种现象被称为多轮攻击。现有自动化红队方法多将攻击视为生成问题,产生一系列单次成功的攻击示例,但缺乏对模型失败模式的系统性理解。本文作者提出将多
该论文针对大语言模型(LLM)部署中的安全访问控制问题,提出了一种称为“能力门控”(capability-gated)的部署范式。传统安全机制(如安全微调、过滤、遗忘)往往在模型权重外部按主体(principal)进行区分,例如通过配置不同
本文研究 Agentic AI 系统在推理时处理敏感数据(如医疗记录、金融文档)时面临的隐私泄露问题。与以往主要关注通过越狱攻击直接诱导模型泄露敏感内容的研究不同,本文首次系统化地研究了 Agent 自身的工具调用所组装出的隐藏上下文(hi
本文针对可穿戴 EEG(脑电图)系统在健康监测之外可能泄露神经隐私的问题展开研究。作者指出,尽管许多系统假设仅传输紧凑的频谱或空间特征而非原始 EEG 数据即可提供足够的隐私保护,但实际这些特征仍可能泄露用户身份和人口统计属性。以 EEGM
该论文研究如何利用物理侧信道(GPU功耗)进行AI工作负载识别,为AI治理中的计算验证提供技术基础。作者指出,AI计算验证是国际AI治理政策中第一个可落地、可操作的关键点。监管机构若要判断前沿实验室或其他操作方是否遵守相关协议,需要能辨别其
大型语言模型(LLM)在生产环境中的可靠部署高度依赖运行时安全防护栏(runtime guardrails)。然而,现有防护方案大多采用独立的外部模型,不仅带来额外的推理开销,还会延迟安全信号并难以跟上基础模型能力的快速演进。为应对上述挑战
这篇论文研究了大语言模型对齐过程中偏好数据组成对隐私记忆的影响。作者指出,尽管偏好优化(如DPO)被广泛用于让模型符合人类偏好,但偏好数据的构成可能影响与隐私相关的记忆行为。他们聚焦于一个关键问题:在不修改优化目标、也不引入形式化隐私机制的
本文提出了一种用于非裁剪(uncropped)侧信道数据集的全密钥(full-key)攻击的简单 Transformer 流水线。传统深度学习侧信道分析通常针对单字节目标并依赖人工裁剪的迹线,这可能会丢弃可利用的泄漏信息。近期研究虽然提出了
本文针对商用LLM API中模型身份被悄悄替换(如用较小模型替代、量化或包装)导致的不透明现象,提出了一种新的审计方法。现有审计大多基于文本输出通道来判断模型身份,但在代理型(agentic)API场景中,由于模型调用工具时服务堆栈(如Op
本文提出了一种名为 ARMOR(Adversarial Robustness with Manifold-Oriented Training)的新型防御方法,旨在解决空中目标检测模型在物理世界中对通用对抗性补丁的脆弱性,同时应对训练数据稀缺
该论文提出了一种以'被击败的缓解措施'为组织维度的基准污染(benchmark contamination)分类法,旨在解决当前排行榜分数中模型能力与数据泄漏在观测上难以区分的问题。作者指出现有污染分类法主要用于自动化检测,但未能回答发布者