Anti-Backdoor Coreset Selection via Cumulative Entropy
本文提出一种针对神经网络后门攻击的训练阶段防御方法。现有训练时防御通常从被污染的训练数据中隔离出良性子集,并仅用该子集训练无后门模型。作者将这一策略形式化为核心集选择问题,即“反后门核心集选择”。其核心观察是:有毒样本通常具有较低的预测不确
共收录 1542 条相关情报。
← 返回所有主题本文提出一种针对神经网络后门攻击的训练阶段防御方法。现有训练时防御通常从被污染的训练数据中隔离出良性子集,并仅用该子集训练无后门模型。作者将这一策略形式化为核心集选择问题,即“反后门核心集选择”。其核心观察是:有毒样本通常具有较低的预测不确
本文提出 ContractHIL-HLS,一种面向实际高层次综合(HLS)工程的契约对齐多智能体工作流。该工作流有三点贡献:第一,引入结构化契约作为语义对齐和任务执行工件,将自然语言需求转化为明确的接口、约束、验证检查和回滚规则;第二,将硬
该论文针对自主LLM代理在处理混合机密性数据时面临的严重安全风险(如提示注入攻击和推理错误)提出了解决方案。传统动态信息流控制(IFC)虽然能提供结构性安全保证,但污点跟踪会永久污染代理的上下文,严重限制下游实用性。作者提出了APPA(Ag
本文研究多智能体LLM系统中分布式后门攻击的早期检测问题。攻击者通过一个中毒工具将加密后的恶意负载片段隐藏在观测结果中,这些片段被分发到多个智能体,运行结束后由外部过程重组并执行。由于每个智能体单独持有片段不完整,逐步骤的安全检查可能无法识
高级持续性威胁(APT)因其多阶段和隐蔽性而难以检测和解释。现有的自主防御系统利用溯源图和学习模型进行检测和缓解,但其输出主要是机器导向的,分析师难以理解。大型语言模型(LLM)为报告生成提供了有前景的接口,但常常产生幻觉或缺乏证据支持的内
本文研究大型语言模型(LLM)在安全运营中心(SOC)日志解释任务中面临的提示注入攻击威胁。随着LLM被用于辅助分析师处理系统日志,攻击者可能通过向日志条目中注入上下文信息或显式指令来操纵模型的解读结果,从而掩盖恶意活动。尽管LLM在日志分
本研究针对中国网络安全等级保护制度(MLPS)的合规分析需求,提出了一种集成多路径检索融合的大语言模型框架。MLPS是中国网络安全治理的基础体系,当前依赖人工解读标准和基于规则的工具,难以在复杂应用场景中提供稳定一致的合规分析。通用大语言模
该论文提出了一种名为 Cloud Decoy AI Agent 的欺骗驱动框架,旨在解决云环境入侵调查中日志量庞大、攻击者操作与正常管理难以区分的问题。框架将高保真云蜜罐(Decoy)与自主语言模型代理(Agent)相结合,能够自动将可疑活
本文提出ContainmentBench,一个基于轨迹的基准测试,用于评估使用工具的LLM代理在遭受提示注入后的遏制能力。现有的评估通常只关注端点安全(如是否达成攻击目标或策略违规),但相同端点结果可能掩盖不同的暴露后轨迹和授权效用损失。C
检索增强生成(RAG)通过引入外部知识库,使大语言模型能够基于检索到的文档生成答案,从而减少幻觉并适应快速变化的信息。然而,RAG 系统面临知识投毒攻击:攻击者只需上传少量对抗性文档,就能操纵模型输出错误答案。PoisonedRAG 研究显
该论文识别了AI安全领域中一个关键的缺失环节:规范基础设施(Specification Infrastructure)。尽管可解释性、形式化方法、安全工程、评估方法和强化学习安全等领域各自产出了大量工作,但这些成果无法组合成可部署的监督方案
该论文提出 DualityCert,一个专为四维 N=1 quiver 规范理论中 Seiberg 对偶性声明设计的符号验证器。验证器检查 't Hooft 异常匹配、超势 R-荷一致性、中心荷匹配以及一个有界的手征环代理。通过验证的声明获
该论文提出了一种名为 HiTMS 的高吞吐量多流语言学隐写框架。传统生成式语言学隐写方案是单流的,即通过单个提示的单个响应来传递完整的秘密消息,这导致两个问题:缺乏对批量多流推理的协议级支持,且简单的批量处理无法隐藏槽位占用或有效载荷完成状
该论文研究了长期运行的AI代理在部署后通过保留经验、获取技能和工具、修改工作流、委托任务以及在任务阶段间移动等方式不断演化所带来的授权问题。随着代理演化,代理本身或执行授权的上下文可能不再匹配用户最初评估的对象,从而导致授权连续性缺失。现有
该论文针对LLM辅助自主机器人蜂群在执行协作情报、监视与侦察(ISR)任务时面临的组合保证失败问题,提出了一种三层(平台/小队/任务)组合运行时验证框架。首先,论文指出现有的单平台防护机制无法检测跨平台违规行为,例如多个平台各自执行合规动作
本文研究大型语言模型(LLM)在医疗场景中内置安全防护的鲁棒性问题,以AI辅助医疗记录篡改为具体案例。作者做出了四项贡献:第一,开发了一个可复现的篡改流水线,利用公开的医疗记录模板,通过商用LLM替换患者姓名、提供者身份、日期和医疗条件,跨
该论文研究了大型语言模型(LLM)在特定场景下绕过安全对齐(safety alignment)的漏洞。尽管经过安全微调的LLM被训练成拒绝有害请求,但将相同请求嵌入特定场景(如角色扮演、上下文包装)时,其防护机制可能被绕过。现有红队方法通过
本文针对基于大语言模型(LLM)的智能体(agent)的长时记忆(LTM)隔离机制展开安全研究。LLM agent通过LTM在多个会话间持久化用户隐私敏感数据,生产系统通常将每个用户的LTM绑定唯一标识符以实现隔离,防御已知的共享存储提取攻
本文研究AI代理身份系统中问责性与匿名性的平衡问题。现有行业实践和研究方案普遍倾向于让每个代理完全可识别以保障问责,但中国正在建设的国家级代理身份层(计划于2026年Q3公开上线)探索了一条不同路径:代理与经过验证的法律主体关联,但该主体身
该论文聚焦于智能体系统中世界模型(world model)的安全性问题。世界模型是一种专门训练的环境模拟器,旨在帮助基于大语言模型的自主智能体预测其动作的后果,从而提升多步任务执行的准确性。然而,作者发现世界模型可能被攻击者操纵,导致智能体