Persona-Model Collapse in Emergent Misalignment
该论文研究了大型语言模型（LLM）在微调过程中出现的“新兴不对齐”（emergent misalignment）现象，即当模型在包含有害内容的狭窄数据上进行微调后，会在无关提示上产生广泛的不对齐行为。作者提出这一现象涉及“人格模型崩溃”（p
#cs.LG
共收录 1073 条相关情报。
← 返回所有主题GraphIP-Bench: How Hard Is It to Steal a Graph Neural Network, and Can We Stop It?
该论文提出了 GraphIP-Bench，一个用于系统评估图神经网络（GNN）模型窃取攻击与防御的统一基准。作者指出，现有研究因数据集、威胁模型和评估指标不一致而无法回答“窃取GNN有多难”以及“能否阻止”这两个关键问题。GraphIP-B
REALISTA: Realistic Latent Adversarial Attacks that Elicit LLM Hallucinations
本文针对大型语言模型（LLM）中的幻觉现象，提出了一种新颖的对抗性攻击框架REALISTA。幻觉是指模型生成看似合理但实际错误的内容，严重影响LLM的可靠性和安全性。现有攻击方法存在局限性：基于离散提示的攻击（如人工改写）搜索空间有限，而连
TextSeal: A Localized LLM Watermark for Provenance & Distillation Protection
本文提出 TextSeal，一种用于大型语言模型（LLM）的本地化水印方案，旨在解决模型输出的来源追踪与蒸馏保护问题。该方法基于 Gumbel-max 采样，通过引入双密钥生成机制恢复输出多样性，并利用熵加权评分和多区域定位技术提升检测精度
Attacks and Mitigations for Distributed Governance of Agentic AI under Byzantine Adversaries
本文针对智能体AI（Agentic AI）治理中的分布式信任问题展开研究。现有最先进的治理方案SAGA假设一个逻辑集中的信任点（Provider），负责存储用户和智能体信息并强制执行策略。然而，SAGA无法抵御恶意Provider的协议偏离
Reconstruction of Personally Identifiable Information from Supervised Finetuned Models
本文首次系统研究监督微调（SFT）大型语言模型中的个人身份信息（PII）重建问题。SFT通过指令-响应对数据集将预训练知识适配到特定领域，但这些数据集常包含用户提供的敏感信息（如医疗和法律场景中的PII），存在隐私泄露风险。作者构建了多轮、
No More, No Less: Task Alignment in Terminal Agents
该论文提出了任务对齐基准（TAB），用于评估终端代理在自主执行复杂、长期任务时，是否能够区分环境中的相关指令与无关干扰。现有基准无法捕获这种能力：代理可能盲目遵循所有指令而显得胜任，或忽略所有指令而显得鲁棒。TAB 基于 Terminal-
PrivacySIM: Evaluating LLM Simulation of User Privacy Behavior
该论文研究了大型语言模型（LLM）在模拟个体隐私决策方面的能力。随着LLM被越来越多地用于模拟人类行为，理解其能否准确反映真实用户的隐私偏好变得至关重要。作者提出了PrivacySIM评估套件，旨在通过一组核心用户角色属性（人口统计信息、过
SkillSafetyBench: Evaluating Agent Safety under Skill-Facing Attack Surfaces
该论文提出 SkillSafetyBench，一个用于评估大型语言模型（LLM）代理在面临技能层面攻击时安全性的可运行基准。当前，可复用技能（skill）已成为扩展LLM代理能力的常见接口，它们以插件形式封装了执行文件操作、工具调用、内存访
Persona-Conditioned Adversarial Prompting: Multi-Identity Red-Teaming for Adversarial Discovery and Mitigation
该论文提出了一种名为 Persona-Conditioned Adversarial Prompting (PCAP) 的自动化红队测试方法，用于发现和缓解大型语言模型（LLM）的安全漏洞。传统的自动红队测试往往只发现狭窄的攻击面，无法覆盖
SoK: Unlearnability and Unlearning for Model Dememorization
本论文是第一篇系统化整合机器学习模型去记忆化（dememorization）两种主要方法——不可学习性（unlearnability）和机器遗忘（machine unlearning）——的研究综述。不可学习性通过在训练前向数据注入难以感知
FERMI: Exploiting Relations for Membership Inference Against Tabular Diffusion Models
该论文研究了针对表格扩散模型的成员推断攻击（Membership Inference Attack, MIA）。扩散模型在合成表格数据方面表现出色，常被用于共享敏感记录，但其隐私保护能力受到质疑。现有成员推断攻击通常假设单表设置，忽略了真实
CTFusion: A CTF-based Benchmark for LLM Agent Evaluation
随着大语言模型（LLM）的快速发展，基于LLM的智能体系统能够执行复杂的多步骤任务，网络安全领域成为其重要应用方向之一。为了评估这类智能体的能力，研究者广泛采用“夺旗赛”（CTF）基准测试。然而，现有的CTF基准测试通常复用已有的挑战题目，
More Than Meets the Eye: A Semantics-Aware Traffic Augmentation Framework for Generalizable Website Fingerprinting
网站指纹识别（Website Fingerprinting, WF）是一种通过分析加密流量模式来推断用户访问了哪些网站的技术。近年来，基于深度学习的方法在封闭世界数据集上表现出色，但在真实网络环境中，由于地理分布和时间推移等因素，泛化能力严
Leveraging RAG for Training-Free Alignment of LLMs
本文研究了大语言模型（LLM）的安全对齐问题。传统的对齐算法通常需要基于偏好对进行后训练，虽然广泛用于设置安全护栏并与人类偏好对齐，但计算开销大，且对于最新的智能体攻击（agentic attacks）的拒绝能力不足。为此，作者提出了一种基
Continuous Discovery of Vulnerabilities in LLM Serving Systems with Fuzzing
该论文提出了GRIEF，一种面向LLM推理引擎的灰盒模糊测试工具，旨在发现服务层漏洞。当前LLM推理引擎（如vLLM、SGLang）引入了KV缓存、批处理、前缀共享、推测解码、适配器和多租户调度等机制，这些共享状态行为仅在真实并发工作负载下
Unlearning with Asymmetric Sources: Improved Unlearning-Utility Trade-off with Public Data
本文研究了基于噪声的认证机器学习遗忘问题。现有方法面临一个硬性天花板：为保证遗忘认证所需添加的噪声量通常会严重破坏模型效用，尤其是在大规模删除请求场景下。结合公共数据是差分隐私中缓解这一矛盾的常用技术，但在遗忘领域尚未被充分探索。本文提出非
FedSurrogate: Backdoor Defense in Federated Learning via Layer Criticality and Surrogate Replacement
联邦学习（FL）极易受到后门攻击的影响，恶意客户端会向全局模型中注入特定行为。现有的防御方法在真实世界的非独立同分布（non-IID）数据下存在较高的误报率，会错误地将良性客户端标记为恶意，即使正确识别了对手也会导致模型精度下降。本文提出了
ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?
该论文提出了ExploitGym，一个用于评估AI代理漏洞利用能力的大规模、多样化、逼真的基准测试平台。随着AI代理能力的快速提升，其可能显著重塑网络安全格局，因此需要严格的评估。漏洞利用是将一个尚未成为攻击的漏洞转化为具体安全影响（如未授
BEACON: A Multimodal Dataset for Learning Behavioral Fingerprints from Gameplay Data
本文介绍了 BEACON（Behavioral Engine for Authentication & Continuous Monitoring），一个大规模多模态数据集，旨在支持高保真游戏环境下的行为生物特征认证研究。背景方面，现有连续