Productionized Fairness Measurement Under Privacy Constraints
该论文针对公平性度量中的人口统计信号（如种族/民族）因法律约束或文化敏感性而难以收集和使用的挑战，提出了一种隐私保护的种族/民族概率估计方法（PPRE）。PPRE结合了两种信号源：基于贝叶斯改进的姓氏地理编码估计器（BISG）和稀疏的自我报
#cs.LG
共收录 1073 条相关情报。
← 返回所有主题Jailbreaking for the Average Jane: Choosing Optimal Jailbreaks via Bandit Algorithms for Automatically Enhanced Queries
本研究探讨了非专业恶意行为者是否能够利用广泛传播的越狱攻击手段，成功诱导大型语言模型（LLM）输出有害内容。为此，作者提出了一种基于多臂老虎机（multi-armed bandit）框架的新型攻击策略。该策略允许攻击者通过少量查询的噪声探索
MIRROR: Novelty-Constrained Memory-Guided MCTS Red-Teaming for Agentic RAG
本文提出了一种针对多模态智能体检索增强生成（RAG）系统的统一红队测试框架MIRROR。现有红队方法通常针对特定攻击面（如文本投毒、图像注入、直接查询、编排器工具操控），且常复用已知攻击模板，在文本投毒基准测试中重复率高达73-84%。MI
DroidBreaker: Practical and Functional Problem-Space Attacks on Machine-Learning Android Malware Detectors
本文关注机器学习驱动的安卓恶意软件检测器在问题空间（problem space）中的对抗性攻击。现有攻击方法存在诸多不足：大多数技术通过软件移植注入完整良性模块，引入大量副作用特征，且常导致构建失败；细粒度方法仅注入少量组件，效果有限；使用
Empirical Software Engineering TerraProbe: A Layered-Oracle Framework for Detecting Deceptive Fixes in LLM-Assisted Terraform
该论文针对大型语言模型（LLM）辅助 Terraform 基础设施即代码（IaC）安全修复的评估问题，提出了一种名为 TerraProbe 的五层预言框架。传统评估方式仅依赖静态分析工具的告警消失来衡量修复成功，忽视了规划有效性、行为变更及
Adaptive Evaluation of Out-of-Band Defenses Against Prompt Injection in LLM Agents
该论文聚焦于LLM Agent（大语言模型驱动的智能体）在面对间接提示注入攻击时的防御策略。近期（2024-2026）的研究趋势是从训练模型拒绝恶意指令转向在模型之外通过确定性策略实施安全防御，即带外防御（out-of-band defen
The Unfireable Safety Kernel: Execution-Time AI Alignment for AI Agents and Other Escapable AI Systems
本论文针对可逃逸AI系统（即拥有足够权限影响自身运行时的AI系统，例如可调用工具和API的AI代理）提出了一种执行时AI对齐方法。作者指出，当前主流安全控制方法（如系统提示、输出过滤、护栏库）均位于代理自身运行时内，易受输入影响而被绕过。为
The Role of Input Dimensionality in the Emergence and Targeted Control of Adversarial Examples
这篇论文系统研究了输入维度（input dimensionality）在深度神经网络对抗样本产生和定向控制中的作用。作者首先分析了现有基于测度集中（concentration of measure）的理论框架的适用范围与局限性，发现真实图像
Federated Hash Projected Latent Factor Learning
本文提出了一种联邦哈希投影潜在因子学习模型（FHPLF），旨在解决传统哈希学习（HL）需要集中存储用户数据引发的隐私问题，以及联邦学习（FL）中传输实值梯度导致的高通信开销和隐私风险。FHPLF 通过三个关键创新实现隐私保护与性能平衡：1）
Color Matters: Trigger Color Affects Success in Federated Backdoor Attacks
本文研究联邦学习中的语义驱动后门攻击机制，重点探讨触发器颜色对攻击成功率的影响。联邦学习易受到后门攻击，恶意客户端注入中毒更新同时保持良性任务性能。现有研究多关注触发器形状、位置等，而本文系统性地分析了触发器颜色这一因素。攻击者使用自然视觉
RAS: Measuring LLM Safety Through Refusal Alignment
该论文提出了一种名为 SafeVec 的白盒 LLM 安全评估方法。传统方法通过查询模型并判断输出是否违规来评估安全性，但这种方法成本高、受评判器影响大且依赖固定题库。SafeVec 从内部表示层面入手：首先从安全对齐的参考模型中提取逐层的
TL++: Accuracy and Privacy Preserving Traversal Learning for Distributed Intelligent Systems
本文提出了一种名为 TL++ 的双模式遍历学习框架，旨在解决分布式智能系统在数据孤岛下训练时的准确性与隐私保护问题。传统的联邦学习虽然保持数据本地化，但在异构分区下性能下降且需要反复交换完整模型；拆分学习通过切割层激活值减少通信，但通常无法
Leaking Circuit Secrets: Gradient Leakage Attacks on Graph Neural Networks
随着图神经网络（GNN）在电路设计与分析等关键任务中成为标准工具，其安全与隐私风险亟需关注。本文首次系统评估了梯度泄露攻击（GLA）对电路设计与硬件安全任务中GNN的威胁——这一实际风险此前被严重忽视。作者在标准网表基准（ISCAS'85、
How Reliable Is Your Jailbreak Judge? Calibration and Adversarial Robustness of Automated ASR Scoring
该论文系统性地评估了用于衡量大语言模型（LLM）越狱攻击成功率的自动化裁判（ASR评分器）的可靠性。研究背景是：几乎所有关于LLM越狱和提示注入的论文都报告攻击成功率（ASR），但这些ASR通常由自动化裁判（专用安全分类器或通用聊天模型）打
Speculative Decoding at Temperature Zero: A Scoped Safety-Invariance Screen with a 48,072-Sample Expansion
本论文针对推测性解码在零温度下的安全性问题进行了系统研究。推测性解码通过让草稿模型生成候选令牌并由目标模型验证，从而加速推理，但可能引入安全风险——草稿模型的输出行为是否会在温度为零时泄漏到最终安全评分输出中？作者提出了典型接受不变性筛选（
Certification of Machine Learning Models via Directional Sharpness
本文提出了一种新的机器学习模型认证度量——方向锐度（Directional Sharpness），旨在高效且可靠地指示模型的泛化能力。在模型认证中，泛化能力是关键质量指标，但直接认证泛化不可行，因为它依赖于未知数据且不可直接测量。传统代理指
Cyclic Denoising Reveals Ultrastable Memories in Diffusion Models
这篇论文提出了一种名为“循环去噪”（cyclic denoising）的新型提取攻击方法，用于从图像扩散模型中提取训练数据中的记忆化图像。该方法受无序固体中随机组织的启发，通过在受控噪声幅度下重复进行前向和反向扩散过程，使得样本被驱动向具有
Are Safety Guarantees in Neural Networks Safe? How to Compute Trustworthy Robustness Certifications
该论文聚焦于神经网络鲁棒性认证的可信计算问题。鲁棒性认证旨在为给定输入确定最大扰动范围（轴对齐超矩形），使模型在该范围内预测不变。现有方法追求体积最优认证，但近期的难解性结果证明，在合理时间内计算体积最优认证不可行。为此，作者引入新度量“a
TROPT: An Open Framework for Unifying and Advancing Discrete Text Optimization
论文提出了TROPT，一个开源的离散文本优化框架。离散文本优化旨在搜索文本序列，使得模型在摄入这些序列后朝指定目标行为（如LLM越狱、模型审计和可解释性）。目前，现有优化器散落在不同的研究代码库中，针对特定模型、目标和问题域，导致使用和扩展
FlexServe: A Fast and Secure LLM Serving System for Mobile Devices with Flexible Resource Isolation
本文针对移动设备端侧大语言模型（LLM）推理中的安全与性能挑战，提出了一种名为FlexServe的快速且安全的LLM服务系统。随着端侧LLM的爆发式增长，其模型权重和用户数据价值极高，攻击者可能通过攻陷操作系统内核来窃取这些数据。ARM T