Evaluating Frontier AI Agents as Autonomous Clinical Security Auditors
该论文研究前沿AI代理能否自主执行结构化临床AI安全审计。传统临床AI模型的安全审计需要统计学专业知识、专门工具和大量时间，而本研究设计了一个基于METR Task Standard v0.3.0的开放评估任务。任务要求AI代理在给定预训练
#cs.LG
共收录 1073 条相关情报。
← 返回所有主题Delving into the Temporal Challenges of Unified Video Protection Against Image-to-Video and Fine-Tuning-based Customization
本文聚焦于视频内容保护，以防御图像到视频生成（reference-based）和微调（tuning-based）两种定制化视频生成管线带来的隐私泄露与身份盗窃风险。现有针对图像的保护方法无法直接迁移到视频上，面临三大时序挑战：(1) 逐帧优
Privacy Preserving Recommender Systems Balancing Personalization with Privacy
本文提出并评估了一个隐私保护的推荐系统框架，旨在解决传统推荐系统依赖集中存储用户交互数据所带来的隐私与合规挑战（如GDPR、CCPA、CPRA）。该框架结合了联邦学习、差分隐私、群体级建模和隐私感知智能体：联邦学习保持原始用户数据分散在本地
BARS: Benign-Anchored Ranking and Selection for False Alarm Reduction in Network Intrusion Detection
该论文针对网络入侵检测系统（NIDS）中误报率过高的问题，提出了一种名为BARS（良性锚定排序与选择）的特征选择方法。经典过滤式特征选择方法通常采用类别对称准则，忽略了入侵检测中正常流量与攻击流量的不对称性——正常流量构成基线而攻击是偏离。
Watermark Forensics for Generative Models: An Information-Theoretic Perspective
本文从信息论角度系统分析了生成模型水印的取证能力。传统水印仅用于检测文本是否由机器生成，但本文提出水印还可用于用户归属（识别生成文本的用户）、隐藏载荷提取以及定位编辑后残留部分，这构成了一个“取证阶梯”（forensic ladder）。作
Breaking Refusal in the First Half: A Mechanistic Study of the Prefill Jailbreak
该论文对一种名为“Prefill Jailbreak”的越狱攻击进行了深入的机制研究。在这种攻击中，攻击者只需在提示开头添加一行预填充文本（例如“Sure, here is”），就能使经过安全对齐的大语言模型放弃拒绝回答有害请求的行为。论文
Securing LLMs in the Wild: Privacy and Security Challenges at the Edge
该论文聚焦于大语言模型（LLM）从云端向边缘设备（如企业本地服务器、个人终端、物联网平台）迁移过程中面临的安全与隐私挑战。作者指出，边缘环境下有限的计算和内存资源迫使开发者采用量化、剪枝、模型分区、参数高效微调等优化技术，但这些技术可能引入
When Local Monitors Miss Compositional Harm: Diagnosing Distributed Backdoors in Multi-Agent Systems
该论文研究多智能体LLM系统在运行时监控方面的安全漏洞。现有安全机制通常对每个智能体的消息、工具调用或步骤进行独立检查（局部监控），但作者发现这存在根本性缺陷：分布式后门攻击可以将有害负载拆分到多个智能体中，使得每个局部检查都通过，而组合后
SingGuard-NSFA: Extensible Guardrails for Agentic AI via Generative Reasoning and Real-Time Classification
本文介绍了SingGuard-NSFA，一个面向Agentic AI系统的安全护栏框架，旨在防御提示注入、敏感信息提取、恶意代码请求、危险工具滥用和资源耗尽等操作威胁。首先，作者提出了NSFA分类法，将185种风险变体组织成基于CIA三元组
When cheap gradients fail: the measurement cost of attacking quantum classifiers
该论文研究了量子分类器在对抗性扰动下的安全性问题，特别关注基于梯度的测试时攻击在量子场景下的实际成本。传统上，攻击者可以通过自动微分廉价获取梯度（便宜梯度原理），但在变分量子分类器中，由于量子测量存在有限统计噪声（shot noise），每
Operational Evidence Gaps for LLMs in Fraud Detection and Trust-and-Safety Workflows
本文系统性地调查了大型语言模型（LLM）在欺诈检测、诈骗调查、内容审核及其他信任与安全（Trust-and-Safety）工作流中的部署证据现状。作者指出，现有公开文献大多将LLM作为独立模型进行评估，而较少关注其在运营流水线中作为组件的实
The Entanglement Wall: Activation-Space Probes as Risk Detectors, Not Context Adjudicators
该论文探讨了在大型语言模型（LLM）的安全对齐中，上下文是否会改变请求的有害性，而不改变其主题或表面形式。研究者提出了一个核心问题：残差流探针（residual-stream probes）能否在一个有用的操作点上区分有害请求与表面匹配的良
Cross-Layer Misalignment Detection in Agent Skills: A Progressive Loading-Aware Contrastive Learning Approach
本文针对大型语言模型（LLM）代理在通过“代理技能”（Agent Skills）扩展功能时出现的跨层不对齐问题展开研究。代理技能是一种可复用组件，包含自然语言元数据、过程指令和执行时资源。随着开源技能市场的扩大，用户和代理主要依赖简短的元数
NetInjectBench: Benchmarking Indirect Prompt Injection in Tool-Using Large Language Model Agents for Network Operations
本文研究了在大型语言模型（LLM）代理用于网络运维（例如处理工单、告警、日志、运行手册和ChatOps消息）时面临的间接提示注入攻击问题。这类攻击可能使代理执行非预期的工具调用，导致安全风险。为此，作者提出了NetInjectBench基准
Byzantine Accountability Without Consensus: Strong Eventual Consistency for Non-Associative, Stochastic, Robust Aggregation
本文提出了一种在无中央协调器且无需共识的情况下实现拜占庭容错鲁棒聚合的方法。现有的拜占庭鲁棒聚合规则（如 multi-Krum）通常依赖中央协调器，且因其全局耦合、非结合性和不连续性而难以去中心化——微小的扰动可能导致输出突变。作者提出的
One Token Is Enough: Fingerprinting and Verifying Large Language Models from Single-Token Output Distributions
该论文提出一种轻量级的LLM指纹识别与验证方法，仅需单token输出分布即可区分不同模型。当前LLM服务常通过不透明的API聚合器、转售商或推理提供商提供，客户端无法技术验证所调用模型是否与宣称一致，且已有审计发现相当比例的商用端点与供应商
A Knowledge-Based Multi-Agent Framework for Security Control Recommendation
本文提出了一种基于知识的智能体框架，用于安全控制推荐，旨在帮助缺乏网络安全专业知识的IT团队完成本地环境的加固工作。该框架被设计为一个安全决策支持系统（DSS），能够根据用户对安全维度的最低要求，推荐合适的安全控制子族。研究首先从信息安全领
SMETA-ZSL:Semantic Meta-Alignment for Zero-Shot Threat Classification
本文提出SMETA-ZSL，一种面向网络安全威胁分类的零样本学习方法。传统监督学习依赖大量标注数据，但新出现的威胁类别往往缺乏标记样本。零样本学习通过利用辅助语义知识（如自然语言描述）来识别未见过的类别。大型语言模型可将非结构化的网络威胁情
Statistically Undetectable Backdoors in Deep Neural Networks
本文研究深度神经网络中后门植入的统计不可检测性。作者展示了一种对抗性模型训练者可以在大规模前馈神经网络中植入后门的方法，这些后门在白盒设置下是统计不可检测的，即后门模型与诚实训练模型之间的总变差距离很小，即使审查者拥有模型的完整描述（如所有
TSAI-MetaFraud: A Benchmark Dataset for Financial Fraud Transaction and Behavioral Risk Detection in Metaverse Ecosystems
该论文提出了TSAI-MetaFraud，一个面向元宇宙生态系统金融欺诈交易和行为风险检测的多模态、多任务基准数据集。随着元宇宙平台虚拟经济的发展，欺诈、机器人和非法金融行为等新挑战日益突出。现有数据集通常孤立地关注用户行为、身份验证或金融