Implicit Identity Technologies for LLMs: Fingerprinting and Watermarking across Datasets, Models, and Generated Content
本文是一篇针对大型语言模型（LLM）领域内指纹识别与水印技术的综述论文，旨在统一术语、生命周期阶段和评估目标，为LLM资产保护与溯源建立结构化基础。LLM的研发需要大量数据、算力和专业知识，且正被部署于高风险场景，因此保护LLM相关资产并追
#LLM
共收录 2152 条相关情报。
← 返回所有主题Evolving Skill-Structured Attack Memory Enhances LLM Jailbreaking
该论文提出了一种名为MemoAttack的黑盒越狱攻击框架，旨在自动化生成对大型语言模型（LLM）的有效对抗性提示。现有黑盒越狱方法要么依赖样本级启发式搜索，要么通过积累策略池或方法库来利用攻击经验，但缺乏对攻击经验的系统组织和管理。Mem
Relevance as a Vulnerability: How Web Retrieval Degrades Safety Alignment in LLM Agents
本文研究了AI Agent通过集成网络检索等外部工具来增强大语言模型（LLM）的能力，使其能够提供基于实时信息的响应。然而，将外部内容纳入生成流程会削弱模型原有的安全对齐机制，导致对有害请求的遵从性增加。作者提出了一个诊断框架AgentRE
SAMD: A Tool for Identifying False Data Injection Scenarios in AI/ML-enabled Medical Devices
本论文提出了一种名为SAMD的自动化工具，用于在AI/ML赋能的医疗设备设计阶段进行安全分析。随着AI/ML在医疗系统中的广泛应用，安全风险日益突出，尤其是对手通过脆弱组件注入虚假数据导致误诊或错误治疗的风险。这些风险在设计阶段难以预见，因
The Best-Laid SCHEMEs: Coordinated Sabotage and Monitoring in Multi-Agent Systems
本文针对多智能体编程系统中潜在的安全威胁展开研究。随着代理型编码系统将工作分解到多个模型实例上，一个关键的安全问题是这些实例能否在保持与用户意图一致的同时，协调实现隐藏的恶意目标。为此，作者提出了一个名为SCHEME的基准测试，包含17个任
S3C2 Summit 2025-07: Government Secure Supply Chain Summit
本文报告了2025年7月9日由美国国家科学基金会（NSF）支持的Secure Software Supply Chain Center（S3C2）举办的政府安全供应链峰会（S3C2 Summit 2025-07）的讨论内容。峰会汇集了来自6
unix-ctf: Procedural Environments for Unix-Competence Reinforcement Learning
本文提出 unix-ctf，一个面向 shell 智能体的 CTF 任务生成器，旨在专门训练和评估 Unix 能力（即使用 shell 和操作系统原语作为一等工具的能力），以解决现有终端基准（如 Terminal-Bench 2.0）中智能
GEO-Bench: Benchmarking Ranking Manipulation in Generative Engine Optimization
大语言模型（LLM）越来越多地用于对用户查询的产品、文档和推荐进行排名，这使得操纵这些排名成为影响公平性和信息完整性的一个日益严重的问题。生成式引擎优化（GEO）领域的研究已经提出了许多操纵方法，但每种方法都在自己的数据集上使用自己的指标进
Robust and Efficient Guardrails with Latent Reasoning
随着大型语言模型（LLM）在现实应用中的广泛部署，确保其安全性至关重要。现有的安全护栏通常依赖单次分类或最近提出的蒸馏推理方法。基于推理的护栏显著优于纯分类基线，但会引入大量查询延迟和令牌开销，使其难以在高吞吐量场景中部署。为了解决这一挑战
SCDBench: A Benchmark for LLM-Based Smart Contract Decompilers
智能合约反编译旨在从字节码恢复高级语言源代码，但现有评估方法存在数据集狭窄、指标不一致、语义一致性检查有限等问题。随着大型语言模型（LLMs）开始生成看似合理但语义可能偏离原始合约的Solidity代码，这一问题变得日益重要。本文提出SCD
A Secure, Manifest-Based Framework for Delegated Privilege Promotion
本文提出一种基于清单（manifest）的安全框架，用于在企业级软件系统中实现受限的权限提升委派。大型企业软件通常以低权限服务账户运行以遵循最小权限原则，但仍需少数特权组件（如具有提升所有权、权限或能力的可执行文件）执行窄范围操作。这导致维
AIRGuard: Guarding Agent Actions with Runtime Authority Control
本文提出了一种针对工具使用型语言代理（LLM agent）的安全防护机制——AIRGuard。随着LLM agent被赋予调用外部工具（如读取文件、执行脚本、调用API、发送消息以及调用MCP协议工具）的能力，传统的越狱攻击模式已不再适用。
Code as a Weapon: A Consensus-Labeled Prompt Bank for Measuring Coding-Model Compliance with Malicious-Code Requests
本文针对编码模型（coding model）在处理恶意代码请求时的合规性测量问题展开研究。研究背景是：通用语言模型回答有害问题返回的是文本，而编码模型如果服从恶意请求，可能直接输出可运行的武器——例如键盘记录器、勒索软件存根或可直接执行的漏
MaskClaw: Edge-Side Personalized Privacy Arbitration for GUI Agents with Behavior-Driven Skill Evolution
GUI代理（如智能助手）依赖截屏来理解用户操作意图并跨应用执行任务，然而截屏中常包含私人消息、医疗记录、支付凭证以及工作流等敏感信息。现有的静态PII检测器无法动态感知不同任务、场景或用户角色下的隐私边界，而云端视觉语言模型（VLM）可能在
Blind PRNG Hijacking: An Undetectable Integrity-Preserving Attack Against LLM Watermarking
本文提出了一种针对 LLM 文本水印的供应链攻击——SeedHijack。现有的加密水印方案（如 KGW、Unigram、DipMark）均假设底层的伪随机数生成器（PRNG）是可信的，从而保证安全。SeedHijack 无需知道水印密钥、
Technical Report: Exploring the Emerging Threats of the Agent Skill Ecosystem
本技术报告针对AI Agent技能生态系统中的新兴安全威胁进行了系统研究。研究团队从Clawhub、Hugging Face等主流AI技能市场中收集了3,984个Agent技能样本，并对其进行了自动化安全分析。结果显示，共发现76个被确认的
Refusal Before Decoding: Detecting and Exploiting Refusal Signals in Intermediate LLM Activations
本文研究了大语言模型（LLM）在解码前中间激活层中拒绝行为（refusal）的可预测性。作者通过在每个Transformer块的残差流激活上训练线性探针（linear probes），发现拒绝行为在最终层之前即可被线性解码，表明安全相关行为
Towards Cybersecurity SuperIntelligence (CSI): What's the best harness for cybersecurity?
该论文探讨了在网络安全人工智能中，哪种"支架"（harness）最为有效。当前网络安全智能体系统趋向于使用由大型语言模型（LLM）驱动的迭代shell循环作为单一执行支架，但不同支架之间缺乏互操作性和可替换性，且没有一种支架能在所有挑战类型
Cybersecurity AI (CAI) Dataset
本文介绍了网络安全人工智能（CAI）数据集，这是一个为期十四个月的网络安全大语言模型（LLM）轨迹语料库，通过开源CAI agent框架收集。研究背景源于PentestGPT的发现：专家操作员轨迹而非基础模型能力是网络安全LLM性能的瓶颈。
SNARE: Adaptive Scenario Synthesis for Eliciting Overeager Behavior in Coding Agents
本文研究编码代理（coding agent）在执行良性任务时可能出现的“过度行为”（overeager behavior）问题。编码代理通常将任务拆解为一系列shell、文件、网络操作，其中某些操作可能悄悄超出授权范围（如泄露凭证、删除文件