Measuring Real-World Prompt Injection Attacks in LLM-based Resume Screening
本研究首次系统性地测量了大型语言模型（LLM）在实际应用中的提示注入攻击威胁，聚焦于广泛使用的LLM简历筛选系统。研究基于hireEZ公司收集的约20万份真实简历数据，时间跨度数年。作者首先设计了专门针对简历文本的提示注入检测方法，通过在小
#cs.LG
共收录 1073 条相关情报。
← 返回所有主题Optimal Rates for Differentially Private Hypothesis Testing with E-values
该论文研究了在差分隐私约束下，使用e值进行假设检验时的最优速率问题。E值作为一种灵活的工具，近年来在允许任意有效和自适应数据分析中受到广泛关注，其应用常涉及隐私或敏感数据。作者提出了一个核心问题：给定两个分布P和Q，在满足ε-差分隐私的e值
Cycle-Space Informed Detection of Autoencoded Blind False Data Injection Attacks on Power Systems
该论文针对电力系统中由数据驱动的盲假数据注入攻击（FDIA）提出了一种拓扑感知的检测方法。现有研究大多基于统计或数据驱动的方法分析测量值，但攻击者可以利用自编码器学习测量流形并生成与Jacobian零空间对齐的扰动，从而绕过残差检测器和时间
Code as a Weapon: A Consensus-Labeled Prompt Bank for Measuring Coding-Model Compliance with Malicious-Code Requests
本文针对编码模型（coding model）在处理恶意代码请求时的合规性测量问题展开研究。研究背景是：通用语言模型回答有害问题返回的是文本，而编码模型如果服从恶意请求，可能直接输出可运行的武器——例如键盘记录器、勒索软件存根或可直接执行的漏
Position: Retire the "Positive Backdoor" Label -- Secret Alignment Requires Strict and Systematic Evaluation
该立场论文指出，AI/ML 社区不应过度使用“正向后门”（positive backdoor）这一标签，而应将触发激活的隐藏行为视为“秘密对齐”（Secret Alignment）。在私有AI时代，开放权重的大语言模型和可获取的训练/推理栈
Out of Sight, Not Out of Mind: Unveiling Latent Attack in Latent-based Multi-Agent Systems
该论文研究了基于隐层表示的多智能体系统中的潜在攻击问题。在多智能体系统中，智能体之间通常通过显式文本通信进行协作，但近年来出现了利用隐层表示（如注意力键值缓存）替代部分显式通信的方法，以提高效率和灵活性。然而，这种将协作移入隐空间的做法也可
Echoes within the Reasoning: Stealthy and Effective Watermarking via Chain of Thought
这篇论文研究了大语言模型（LLM）中链式思维（Chain-of-Thought，CoT）推理能力的知识产权保护问题。现有黑盒水印方法通常通过扰动最终答案或依赖脆弱的触发模式来权衡鲁棒性与推理保真度，导致水印易被移除或影响推理质量。作者提出
Mind the Gap: Mixtures of Gaussians in Approximate Differential Privacy
本文针对满足 (ε, δ)-差分隐私的标量实值查询函数，设计了一类加性噪声机制，特别关注中低隐私保护水平（即ε较大或δ较宽松）的场景。作者提出的“混合机制”（mixture mechanisms）通过混合多个高斯分布来构造噪声分布，这些高斯
SPARD: Defending Harmful Fine-Tuning Attack via Safety Projection with Relevance-Diversity Data Selection
论文 SPARD 针对大型语言模型在微调过程中安全对齐被破坏的问题，尤其是有害微调攻击（通过对抗性数据移除安全防护并引发不安全行为），提出了一种防御框架。该框架包含两个核心组件：1）安全投影交替优化（SPAG），在效用更新与显式安全投影之间
When Think-with-Image Meets Safety: What Determines Multimodal Jailbreak Robustness?
本文研究了大型视觉语言模型（LVLM）中新兴的“伴随图像思考”（think-with-image）推理范式的安全性，特别是其对多模态越狱（jailbreak）鲁棒性的影响。现有系统已包含多种流程设计，如直接响应生成、纯文本前置回合、视觉状态
Privately Estimating Monotone Statistics in Polynomial Time
该论文研究差分隐私下单调统计量的高效估计算法。单调统计量指随着新观测数据增加而单调变化的统计量（如分位数、累积分布函数等）。传统方法采用子采样-聚合（subsample-and-aggregate）框架：将数据集分成多个子块，分别计算统计量
MRMMIA: Membership Inference Attacks on Memory in Chat Agents
本文聚焦于聊天代理（chat agent）记忆系统中的成员推断攻击（MIA）。现有MIA研究主要针对训练语料库或检索数据库，但代理记忆包含敏感的用户-代理交互、检索事实和用户偏好，其隐私泄露风险尚未被充分探索。作者提出了一种统一的攻击方法—
Density-aware Sample-specific Attack
本文提出了一种密度感知的样本特定后门攻击方法（Density-aware Sample-specific Attack），旨在解决现有后门攻击在训练后防御（如微调、剪枝）下容易被擦除的问题。作者重新审视了后门攻击的核心目标，在受害者训练的贝
Revisiting ML Training under Fully Homomorphic Encryption: Convergence Guarantees, Differential Privacy, and Efficient Algorithms
本文首次对全同态加密（FHE）下的机器学习训练进行了理论收敛性分析，并提出了一种结合差分隐私（DP）的训练算法，专为加密计算设计。该方法通过使用激活函数和损失函数的多项式近似（FHE兼容所必需）来证明近似梯度下降的收敛性，从而改进了标准差分
Test-Time Collective Action: Proxy-Based Perturbations for Correcting Algorithmic Harms
机器学习系统在特定子群上表现不佳时，受影响的用户通常无法自行纠正这些差异，只能依赖平台层面的修复。现有算法公平性方法主要采用提供者为中心的策略，用户面对不公时缺乏外部杠杆。近期算法集体行动研究表明，协调的用户可以引导算法系统朝向集体目标，但
Backdoor Attacks on Fault Detection and Localization in Cyber-Physical Systems
本文研究了针对信息物理系统（CPS）中基于机器学习的故障检测与定位机制的后门攻击。CPS（如智能电网、工业自动化）依赖传感器、计算和控制器实时检测电压波动等故障并执行负载均衡。近年来，深度学习模型被广泛用于异常检测，但它们易受对抗性攻击。后
Poison with Style: A Practical Poisoning Attack on Code Large Language Models
本文提出一种名为Poison-with-Style (PwS)的实用且隐蔽的模型投毒攻击，针对代码大语言模型（CLLM）。与以往假设攻击者能够在推理时主动将显式触发器（如特定单词）嵌入开发者提示中的攻击不同，PwS利用开发者的代码风格作为隐
Risk Averse Alert Prioritization for IDS Using Subnormal Gaussian Fuzzy Models
现代入侵检测系统（IDS）每天产生数千条警报，但大量误报和低影响事件导致警报疲劳，严重制约安全运营效率。本文提出了一种基于亚正态高斯模糊数的警报优先级排序框架，旨在通过显式建模威胁严重性、检测置信度和组织风险态度三种不确定性来源，实现更鲁棒
Grounded Cache Routing for Retrieval-Augmented Generation: When Is It Safe to Reuse an Answer?
本文针对检索增强生成（RAG）系统中的缓存安全问题展开研究。现代RAG部署广泛使用缓存来降低token成本和时间至首token延迟（TTFT），其中前缀级KV复用已是标准做法，但输出级的语义答案缓存仍然脆弱：相似提示可能映射到不同正确答案，
HARP: Measuring Harm Amplification in Multi-Agent LLM Systems
本文提出了一种名为HARP（Harm Amplification through Role Perturbation）的方法，用于测量多智能体LLM系统中的危害放大效应。在多智能体系统中，工作流被分解为多个代理、工具、共享上下文、内存和决策