GrayShield: Bit-Level Sanitization for Transformer Model Supply-Chain Security
该论文关注 Transformer 模型供应链中的一个隐蔽威胁面：BERT、Vision Transformer（ViT）等模型的 32 位浮点权重中，尾数最低有效位（LSB）在数值上几乎不影响推理精度，却可被当作隐蔽信道，将恶意载荷编码进
#ai-security
共收录 102 条相关情报。
← 返回所有主题Certified Mechanistic Edits: Behavioral Guarantees for Skill Removal and Preservation
该论文关注神经网络“机制编辑”的可验证性，即通过消融、权重编辑或激活引导，从模型中移除某一有害能力（或技能），同时尽量保留其他有用能力。现有做法通常只靠测试集验证编辑效果，但有限测试无法覆盖连续、无穷的输入空间，因此无法保证在所有输入区域都
Frequency Is Not Sensitivity Identifying Safety-Sensitive Experts in Sparse MoE LLM
本文研究稀疏混合专家(MoE)大模型的一个安全问题：在不重新训练的前提下，只要压制少量被路由选中的专家(experts)，模型的拒答行为就会明显减弱。因此“应当压制哪些专家”本身就是一个安全评估问题。业界常用的判据是专家的激活频率(acti
Hop-Decayed Influence: New Vulnerabilities of Structural Auxiliary Indexing in GraphRAG Pipelines with LLM
该论文关注的是一种此前被忽视的攻击面：GraphRAG（图增强检索生成）流水线在离线索引阶段会生成大量「辅助结构」，包括语义摘要、层级边以及预计算的评分/排序结果，这些产物并不属于原始知识图谱的实例数据，却在查询时直接决定检索的优先级与召回
Chaining Skills to Hijack LLM Agents
论文《Chaining Skills to Hijack LLM Agents》研究 LLM Agent 在多技能协作场景下的新型攻击面。背景是：Agent 为完成用户请求会按顺序调用多个技能（skill），前一个技能产生的信息会作为输入影
Do Defenses Against LLM Extraction Work Across Attacks? A Lifecycle Benchmark of Black-Box Model Extraction
该论文针对大语言模型（LLM）通过纯文本 API 部署时面临的模型提取风险展开研究。攻击者可通过收集模型响应训练替代模型，从而复制受害模型的能力。尽管已有工作提出了多种提取攻击与防御方法，但现有评估在访问假设、模型配置、查询预算和安全目标上
CodeMimicry: Exploiting Safety Generalization Lag in Large Language Models via Structured Code Completion
该论文聚焦大语言模型安全对齐的一个被忽视的失效模式：安全泛化滞后（safety generalization lag）。作者指出，当前主流对齐训练与红队数据几乎全部集中在自然语言上，导致模型在代码域上未能继承同等强度的拒答能力。这一滞后在代
Security Properties of Neural Networks as Decision Problems
该论文从计算复杂性角度重新审视已部署神经网络的安全认证问题。验证文献长期聚焦鲁棒性等少量性质，但作者指出实际部署中还存在一类未被系统分类的决策问题：模型是否携带训练阶段植入的后门、存储参数故障是否会把网络推入不安全状态、输出是否泄露输入中的
Learning Normal Diffusion Dynamics for Backdoor Defense in Text-to-Image Models
本文针对文本到图像（T2I）扩散模型的后门防御问题，提出从“转移动力学”（transition dynamics）视角进行检测与定位的新框架 NDDL（Normal Diffusion Dynamics Learning）。现有防御通常依赖
SteerProbe: Learning to Bypass Safety Steering in Vision-Language Models
该论文研究视觉语言模型（VLM）中基于激活调控（activation steering）的推理期安全防御的鲁棒性边界。激活调控通过在推理阶段修改模型中间层表示、而不更新主干参数来提供防护，被视为一种轻量、可插拔的安全护栏。作者指出，这类防御
Dagger: Decoupling-based Model Stealing Attack against Graph Neural Networks
随着图神经网络（GNN）被广泛以机器学习即服务（MLaaS）的形式对外提供 API，模型窃取攻击已成为关键安全威胁：攻击者仅通过查询受害模型的黑盒接口，就能训练出一个功能等价的替代（代理）模型，从而窃取专有知识产权并危及依赖该模型的下游安全
Backdoor Mitigation in Decentralized LLM Fine-Tuning
去中心化大语言模型（LLM）微调允许多个机构在不汇聚原始数据、也没有中心协调者的情况下，协作训练一个共享的 LLM。其典型流程是：每一轮中，每个节点在通信图上与邻居交换可训练的适配器（adapter），随后在本地对收到的适配器进行聚合更新。
DecoyTrace: Toxic Decoys for Active Defense in Decentralized Federated Learning
该论文针对去中心化联邦学习（DFL, Decentralized Federated Learning）场景下防御能力不足的问题，提出了名为 DecoyTrace 的主动式网络欺骗防御方案。DFL 取消了中心聚合服务器，虽然避免了单点故障，
An Empirical Study and Assessment of EU AI Act Compliance Checkers
该论文对欧盟《人工智能法案》(EU AI Act) 的自动化合规检查工具 (AI Act Compliance Checkers, AIACCs) 开展了首次系统性实证研究与评估。研究背景是：EU AI Act 对开发、部署或集成 AI 系
Why Backdooring Neural Networks is so Easy?
该论文研究的是神经网络后门攻击中的一个基础理论问题: 攻击者到底需要多大的预算才能构造既成功又隐蔽的后门。作者把攻击者预算拆解为两个量: 训练数据中的投毒比例 π 与触发器强度 α。研究动机来自近期的实证观察: 对大语言模型投毒时, 即使干
LENS: The Sum Is Worse Than the Parts for Set-Level Poisoning in Retrieval-Augmented Generation
该论文研究检索增强生成（RAG）系统在「集合级」投毒场景下的新型脆弱性。传统观点认为 RAG 通过聚合多篇外部文档来提升答案可靠性，但作者指出：这种联合整合本身会引入一个被忽视的攻击面——单篇文档各自看起来都合理无害，但把它们作为整体一起送
Still There, No Longer Seen: Exposing Compression-Induced Risk in Large Vision-Language Models
该论文关注大型视觉语言模型（LVLM）在推理加速中被广泛采用的视觉 token 压缩技术所引入的安全盲区。压缩能显著降低推理成本，但现有鲁棒性评估多用聚合指标，无法回答一个关键归因问题：某次对抗性失败究竟是由压缩过程新增的，还是原本就继承自
RADNPO: Reference-free Adaptive Negative Preference Optimization for LLM Unlearning
本文关注大语言模型（LLM）的机器遗忘（machine unlearning）问题：模型在预训练阶段可能记忆敏感、隐私或受版权保护的内容，需要在尽量不重训的前提下定向移除特定知识。现有基于偏好优化（PO）的遗忘方法相比梯度上升（GA）类方法
Information Blackhole: Exploring Backdoor Mechanism in 3D Point Cloud Reconstruction
该论文聚焦三维点云自编码器的后门安全问题。点云自编码器是 3D 世界表示的基础组件，被广泛用于自动驾驶感知、机器人、数字孪生等安全攸关的下游任务。此前学术界对点云分类模型的后门攻击研究已较为充分，但针对点云自编码器这类生成式模型的后门机理仍
FeatMark: Feature-level Watermark Protection against Mimicry Attacks with Diffusion Models
该论文关注文本到图像扩散模型被滥用于数据高效的"模仿"（mimicry）攻击的问题：攻击者只需少量目标个体的公开照片，即可微调模型生成高度逼真的伪造图像（如换脸式深度伪造）。常见对策是在图像中嵌入不可感知的低能量水印，但近期研究证明这类像素