Safety in Self-Evolving LLM Agent Systems: Threats, Amplification, and Case Studies
本文系统性地研究了自进化LLM智能体系统（即能够自主更新其模型参数、记忆、工具和架构的智能体）带来的新型安全与隐私威胁。作者首先提出模块-生命周期攻击面（MLAS）矩阵，将攻击面分解为五个功能模块（大脑、认知资源、执行、自我设计、集体）和五
2026-06-25 归档
今日共收录 1364 条安全情报，包含 629 个 CVE，391 篇安全通告，以及 120 篇研究论文。
← 返回归档列表RAS: Measuring LLM Safety Through Refusal Alignment
大型语言模型（LLM）的安全性评估通常通过不安全或越狱提示进行查询，并判断输出是否违反安全策略。虽然有用，但输出级评估成本高，对评判者选择敏感，且容易受限于固定题库。本文提出了一种白盒评估程序 SafeVec，从内部表示而非生成答案来度量安
Tracing Target Answers in Poisoned Retrieval Corpora via Token Influence Attribution
检索增强生成（RAG）系统通过检索外部知识库来增强大语言模型（LLM）的生成质量，但这也引入了新的攻击面：攻击者可以通过污染语料库（即注入恶意文档）来操纵模型输出，例如强制模型输出攻击者指定的目标答案。现有检测方法多依赖辅助分类器或额外LL
Taxonomy of Risks on Automated Fact-Checking Systems Considering its Propagation
本文针对社交媒体上假新闻（包括错误信息和虚假信息）泛滥的问题，指出人工事实核查难以覆盖所有帖子，因此自动化事实核查系统变得尤为重要。然而，当前基于人工智能和大语言模型的自动化事实核查系统可能存在判断错误或发布错误结果的风险，从而进一步导致错
CrypFormBench: Benchmarking Formal Analysis Capability of Large Language Models for Cryptographic Schemes
手动对密码学方案进行形式化分析是一项劳动密集型工作，需要深厚的专业知识。尽管模型检测工具（如Scyther和Tamarin）以及计算安全工具（如CryptoVerif和EasyCrypt）提高了安全证明的自动化程度，但它们仍然依赖专家对方案
How Reliable Is Your Jailbreak Judge? Calibration and Adversarial Robustness of Automated ASR Scoring
本文对LLM越狱攻击中自动攻击成功率（ASR）评分的可靠性进行了全面评估。目前几乎所有关于LLM越狱和提示注入的论文都依赖自动化裁判（专用安全分类器或通用聊天模型）来报告ASR，但这些裁判本身的准确性很少被验证。作者使用HarmBench分
Representation Matters: An Empirical Study of Program Representations for LLM Vulnerability Reasoning
本文针对大型语言模型（LLM）在自动化漏洞检测中的应用，系统研究了不同程序表示对LLM推理能力的影响。当前大多数基于提示的方法直接提供原始源代码，认为更多上下文能提升模型表现。作者通过构建RepBench基准挑战这一假设，该基准将真实世界的
What Does It Mean to Break a Distillation Defense?
本文针对黑盒大语言模型（LLM）蒸馏攻击的防御问题展开研究。蒸馏攻击是指攻击者通过查询API获取教师模型输出，并训练一个学生模型来模仿其行为。近期研究提出了一系列输出扰动防御方法，即修改教师模型的输出以降低学生模型性能，同时保持对合法用户的
HelpBench: Assessing the Ability of LLMs to Provide Privacy, Safety, and Security Advice
本文提出 HelpBench 基准测试，用于评估大型语言模型（LLM）在提供数字隐私、安全和安全建议方面的能力。研究团队从真实用户场景中筛选了450个问题，涵盖账户恢复、双因素认证选择、可疑邮件识别、设备追踪等典型安全咨询场景，并为每个问题
PowerFuzz: Power-Based Black-Box Firmware Fuzzing
固件模糊测试是发现嵌入式系统漏洞的重要方法，但现有灰盒模糊测试需要目标固件的源码或二进制可见性，而许多商用或专有固件并不公开，使得获得分支覆盖率等执行反馈变得不可行。本文提出 PowerFuzz，一种基于功耗侧信道的统计黑盒固件模糊测试框架
Red-Teaming the Agentic Red-Team
本文首次对当前广泛用于红队（进攻性安全操作）的智能体系统进行了深度安全分析。研究发现，尽管社区致力于提升这些智能体的攻击能力，但对其自身安全性的评估却严重不足。作者指出，大多数红队智能体工具存在共同的设计缺陷，使得活跃的攻击者能够窃取API
AutoSpec: Safety Rule Evolution for LLM Agents via Inductive Logic Programming
大型语言模型（LLM）智能体通过整合语言模型与外部工具和环境，日益自动化复杂任务，但其自主性带来显著安全风险：可能执行破坏性命令、泄露敏感数据或违反领域约束。现有安全方法面临基本权衡：手工规则可解释但脆弱，过度保守的规则会阻止安全操作（高误
CORE-BREW: LLR-Based Soft Decoding for Robust Multi-Bit LLM Watermarking
本文针对大型语言模型（LLM）输出溯源需求，提出一种基于对数似然比（LLR）的软判决解码方法 CORE-BREW，用于实现鲁棒的多位水印嵌入与检测。现有基于纠错码（ECC）的 LLM 水印大多采用硬判决解码，丢弃了 token 级别的可靠性
TROPT: An Open Framework for Unifying and Advancing Discrete Text Optimization
论文提出了TROPT，一个开源的离散文本优化框架。离散文本优化旨在搜索文本序列，使得模型在摄入这些序列后朝指定目标行为（如LLM越狱、模型审计和可解释性）。目前，现有优化器散落在不同的研究代码库中，针对特定模型、目标和问题域，导致使用和扩展
An Automated Framework for Input Alphabet Construction in Stateful Protocol Implementation Learning
该论文提出了一种自动化框架，用于在状态协议实现的状态机学习中自动构建输入字母表。传统状态机学习依赖手工构建输入字母表，这限制了输入探索的完备性，难以捕获异常的非符合消息，从而遗漏潜在的语义缺陷。论文采用大型语言模型（LLM）解析协议消息布局
FlexServe: A Fast and Secure LLM Serving System for Mobile Devices with Flexible Resource Isolation
本文针对移动设备端侧大语言模型（LLM）推理中的安全与性能挑战，提出了一种名为FlexServe的快速且安全的LLM服务系统。随着端侧LLM的爆发式增长，其模型权重和用户数据价值极高，攻击者可能通过攻陷操作系统内核来窃取这些数据。ARM T
VCT: A Verifiable Transcript System for LLM Conversations
该论文针对大规模语言模型（LLM）对话记录在数字取证和合规审计中日益重要的应用背景，指出传统的线性防篡改日志无法捕捉LLM对话内在的非线性演化特性，例如基于历史查询的重新提示、回复重生成、会话删除、多设备并发以及选择性分享。为解决这一问题，
What You See Is Not What You Execute: Memory-Based Runtime SBOM Generation for Supply Chain Security
现代软件开发高度依赖来自公共仓库的第三方组件，这扩大了软件供应链攻击面。为了应对这一风险，美国联邦倡议推动了软件物料清单（SBOM）作为标准化机制，通过描述软件组件、依赖关系及其关联来提升透明度。然而，基于元数据或文件系统工件构建的SBOM
The Geometry of Refusal: Linear Instability in Safety-Aligned LLMs
该论文研究了大型语言模型（LLM）中安全拒绝机制的几何特性。作者提出了一种名为“对比对数几率引导”（CLS）的零优化框架，通过对比安全系统提示和不受限系统提示下的隐藏状态，提取出“拒绝方向”。与以往干预内部激活的表示工程方法不同，CLS直接
Rising From the Ashes: How Agentic AI is Unblocking Challenges in Cybersecurity
该论文探讨了代理人工智能（Agentic AI）如何解决网络安全中长期存在的挑战。当前安全防御面临成本高昂、人工密集型任务成为瓶颈等问题，许多防御措施因效率低下而难以实施。代理AI通过直接接收和推理自然语言或代码的能力，有望自动化这些任务，