Lifecycle-Aware Dynamic Analysis for Secure ML Model Execution
该论文聚焦于机器学习模型执行过程中的安全威胁。随着预训练模型的广泛复用,攻击者可以将恶意行为嵌入模型文件,而现有基于静态规则或已知签名的方法难以泛化到不同框架且无法检测未知漏洞。作者提出一种动态生命周期感知分析方法,核心观察是ML模型在明确
共收录 1073 条相关情报。
← 返回所有主题该论文聚焦于机器学习模型执行过程中的安全威胁。随着预训练模型的广泛复用,攻击者可以将恶意行为嵌入模型文件,而现有基于静态规则或已知签名的方法难以泛化到不同框架且无法检测未知漏洞。作者提出一种动态生命周期感知分析方法,核心观察是ML模型在明确
本文针对基于模型的学习代理(model-based learning agents)中世界模型(world model)的微调阶段面临的数据投毒攻击问题,提出了SWAAP(Stealthy World Model Manipulation
该论文系统评估了基于提示的防御机制对领域伪装注入攻击的效果。领域伪装注入攻击是一种利用领域特定词汇将恶意指令嵌入检索内容中,从而绕过依赖语法注入标记的标准检测器的攻击方式。研究者在三个模型家族(Claude Haiku、Llama 3.1
本文提出了一种轻量级的检测时间模块——签名过滤(signature filtering),旨在提升大型语言模型(LLM)输出中统计水印的检测性能。现有的水印检测器在水印信号弱、文本重复或水印被编辑时往往表现不佳。签名过滤不修改水印嵌入和文本
该论文针对现代网络中智能自主网络防御代理的需求,提出了一种基于模仿学习的红队(攻击者)策略学习技术。研究背景是:随着网络攻击日益复杂,防御代理通常通过强化学习训练,采用神经符号方法(例如行为树与学习组件结合)来学习、推理、适应和执行安全规则
该论文针对多阶段网络攻击检测中缺乏同时覆盖系统、网络和浏览器日志的标注数据集的问题,构建了一个包含约230万条事件、870个会话(70个攻击会话、800个正常会话)的多源日志数据集。数据集在Windows端点同时捕获系统、网络和浏览器活动,
本研究针对开源大语言模型(LLM)在多标签MITRE ATT&CK技术分类任务上的表现进行了系统性评估。当前已有的自动化方法大多基于简化后的单技术句子进行评测,无法体现真实网络威胁情报(CTI)报告中复杂的语言和多步骤攻击模式,导致性能被高
本文研究了Handlebars模板引擎在LLM提示构造中的安全风险,特别是三括号插值({{{x}}})与双括号插值({{x}})对结构角色注入攻击的影响。Handlebars是Microsoft Semantic Kernel默认的提示模板
本文研究了在高斯过程(GP)后验采样中释放样本路径的隐私保护问题,其中整个训练集(包括协变量和响应)被视为私密信息。与传统差分隐私(DP)机制通过添加外部噪声不同,后验采样本身具有随机性。作者证明这种内在随机性能够提供差分隐私保证,具体通过
本文提出了一种名为TIGER的新型梯度反演攻击方法,针对联邦学习场景下Transformer模型的隐私泄露问题。联邦学习中,多个客户端协同训练共享模型,仅上传梯度更新至中央服务器,理论上原始输入数据保留在本地。然而,已有的梯度反演攻击表明,
该论文针对开源软件漏洞数据集中长期存在的“可重复性、数量、多样性三难困境”问题,提出了一种新的方法,旨在在不牺牲数量和多样性的前提下,大规模实现漏洞的可重复性。作者通过分析现有大规模漏洞复现的主要障碍,并设计通用解决方案,成功将可重复性引入
本文挑战了“差分隐私(DP)能够天然增强联邦学习(FL)抗后门攻击鲁棒性”的普遍假设。通过实证分析两种基线攻击策略,作者发现DP-FL中存在根本性矛盾:若攻击绕过DP,现有先进防御能够有效检测并过滤恶意更新;但若攻击遵守DP约束,DP的噪声
本文研究在本地差分隐私保护下,跨多个独立数据孤岛的去匿名化攻击威胁。当一个人的记录出现在k个各自满足(ε,δ)-差分隐私的孤岛中时,标准组合机制提供(kε, kδ)-DP保证,但这一最坏情况边界无法回答具体推断问题:在多大的k下,攻击者能实
随着隐私合规AI需求的增长,机器遗忘变得愈发重要。然而,现有的基于重新训练或知识蒸馏的方法不仅计算成本高,而且难以验证。本文提出了TrustErase,一个可验证的无数据遗忘框架,利用护照嵌入表示实现即时、模块化且可审计的遗忘。核心思想是将
本文针对基于全同态加密(FHE)的隐私保护机器学习推理中存在的计算和内存开销问题展开研究。现有密文打包策略通常仅保持邻近数据元素或特征分组中的一种,导致密文槽利用率低、旋转操作过多、密文数量膨胀,严重制约了推理效率。为此,作者提出了一种统一
本文研究了一种针对大型语言模型(LLM)的新型训练数据提取攻击。攻击者通过投毒一小部分训练数据,能够诱导模型泄露一条攻击者无法访问的目标记录(例如私有医疗记录或用户对话)。核心洞察是:通过在目标完成点附近重塑模型的局部损失景观,使其成为尖锐
该论文针对现有基于图神经网络(GNN)的网络入侵检测系统(NIDS)的局限性——将流量流视为时间独立且依赖有监督学习——提出了一种时间感知的自监督时空图对比学习框架。研究背景:GNN在建模网络流量关系方面有效,但多数方法忽略时间动态特征,且
大型语言模型(LLM)API的广泛使用使得用户依赖黑盒指纹识别来验证服务提供商是否真正部署了所宣称的优质模型。然而,现有指纹识别方法可能忽视恶意提供商通过操纵模型权重来欺骗指纹检测的风险。本研究提出了一种名为“指纹欺骗”(fingerpri
随着开源LLM(大语言模型)智能体生态系统的迅速发展,社区贡献的“技能”(即模块化工具定义,用于扩展智能体能力)的安全性普遍缺乏审查。现有安全扫描器仅在代码层运行,对于指令层和多智能体层面的风险——例如通过自然语言指令劫持智能体、通过编码侧
本文提出了一种名为Greedy Coordinate Diffusion (GCD)的新型对抗攻击框架,用于攻击经过安全对齐的大型语言模型(LLM)。现有攻击方法存在两类问题:基于优化的攻击(如GCG)生成高困惑度、不连贯的后缀,容易被基于