Quantifying LLM Safety Degradation Under Repeated Attacks Using Survival Analysis
该论文提出了一种基于生存分析来量化大型语言模型（LLM）在重复攻击下安全性退化程度的新框架。现有的 LLM 越狱评估通常仅报告二元的成功/失败指标，无法捕捉在持续对抗压力下攻击如何随时间成功的动态过程。本文借鉴医学和可靠性工程中的生存分析方
#cs.AI
共收录 1684 条相关情报。
← 返回所有主题Language-Based Agent Control
本文提出了一种名为“基于语言的智能体控制”（LBAC）的新型编程模型，旨在解决智能体应用中的安全控制问题。传统的编程语言中，静态类型和运行时强制执行已被用于确保程序满足用户指定的策略（如访问控制、信息流、数据来源等）。LBAC的核心思想是将
Persona-Model Collapse in Emergent Misalignment
该论文研究了大型语言模型（LLM）在微调过程中出现的“新兴不对齐”（emergent misalignment）现象，即当模型在包含有害内容的狭窄数据上进行微调后，会在无关提示上产生广泛的不对齐行为。作者提出这一现象涉及“人格模型崩溃”（p
GraphIP-Bench: How Hard Is It to Steal a Graph Neural Network, and Can We Stop It?
该论文提出了 GraphIP-Bench，一个用于系统评估图神经网络（GNN）模型窃取攻击与防御的统一基准。作者指出，现有研究因数据集、威胁模型和评估指标不一致而无法回答“窃取GNN有多难”以及“能否阻止”这两个关键问题。GraphIP-B
REALISTA: Realistic Latent Adversarial Attacks that Elicit LLM Hallucinations
本文针对大型语言模型（LLM）中的幻觉现象，提出了一种新颖的对抗性攻击框架REALISTA。幻觉是指模型生成看似合理但实际错误的内容，严重影响LLM的可靠性和安全性。现有攻击方法存在局限性：基于离散提示的攻击（如人工改写）搜索空间有限，而连
CoT-Guard: Small Models for Strong Monitoring
该论文提出了一种名为 CoT-Guard 的小型监控模型，用于检测推理模型在代码生成任务中的隐蔽不良行为（即隐藏目标）。当前大型模型（如 GPT-5、Gemini-3-Flash）虽可作为有效的 CoT 监控器，但由于其高昂的部署成本和冗长
Large Language Models for Agentic NetOps and AIOps: Architectures, Evaluation, and Safety
本文是一篇综述，系统性地探讨了大型语言模型（LLM）在智能网络运维（Agentic NetOps）和人工智能运维（AIOps）中的应用。核心研究问题是：如何将LLM安全可靠地集成到网络操作流程中，使其能够执行事件调查、根因分析、配置合成和有
Do Androids Dream of Breaking the Game? Systematically Auditing AI Agent Benchmarks with BenchJack
该论文聚焦于AI智能体（agent）基准测试的安全性，指出基准测试已成为衡量前沿AI能力的事实标准，但奖励黑客（reward hacking）行为——即智能体通过非预期方式最大化分数而不执行真正任务——会自发出现，且不依赖过拟合。作者认为基
No More, No Less: Task Alignment in Terminal Agents
该论文提出了任务对齐基准（TAB），用于评估终端代理在自主执行复杂、长期任务时，是否能够区分环境中的相关指令与无关干扰。现有基准无法捕获这种能力：代理可能盲目遵循所有指令而显得胜任，或忽略所有指令而显得鲁棒。TAB 基于 Terminal-
The Deepfakes We Missed: We Built Detectors for a Threat That Didn't Arrive
本文是一篇立场论文，系统反思了过去近十年机器学习领域在深度伪造检测上的研究方向与实际威胁之间的错位。自2017-2019年起，该领域的研究主要围绕公共人物的换脸和说话头操控展开，担忧大规模虚假信息传播和视频证据欺诈。然而，作者通过统计202
SkillSafetyBench: Evaluating Agent Safety under Skill-Facing Attack Surfaces
该论文提出 SkillSafetyBench，一个用于评估大型语言模型（LLM）代理在面临技能层面攻击时安全性的可运行基准。当前，可复用技能（skill）已成为扩展LLM代理能力的常见接口，它们以插件形式封装了执行文件操作、工具调用、内存访
AccLock: Unlocking Identity with Heartbeat Using In-Ear Accelerometers
本文提出了 AccLock，一种基于耳塞内置加速度计的被动式用户身份验证系统。与现有依赖主动交互（如语音指令）或主动声波输出的耳塞认证方案不同，AccLock 利用用户佩戴耳塞时由心跳引起的体内震动（即心冲击图 BCG 信号）进行身份识别。
Proteus: A Self-Evolving Red Team for Agent Skill Ecosystems
该论文关注LLM agent技能生态系统的安全风险。随着用户从市场、仓库等渠道安装第三方技能，技能既包含可执行代码又包含上下文文档，其部署风险无法通过单次审计或提示级红队评估充分衡量。作者定义了一种名为“自适应泄漏”的风险：攻击者可以利用审
IPI-proxy: An Intercepting Proxy for Red-Teaming Web-Browsing AI Agents Against Indirect Prompt Injection
本文提出并实现了 IPI-proxy，一个开源的红队测试工具包，专门用于评估 Web 浏览型 AI 代理对间接提示注入（IPI）的防御能力。当前企业环境中，AI 代理通常被限制访问白名单域，但攻击者仍可通过在合法域中嵌入隐藏指令来实施 IP
Behavioral Integrity Verification for AI Agent Skills
本文针对AI Agent技能的安全验证问题展开研究。Agent技能为LLM Agent提供了第三方能力（如文件系统访问、凭据管理、网络调用及shell执行），现有安全机制仅能检测恶意提示和运行时风险行为，但技能工件本身缺乏验证。作者将这一问
Cochise: A Reference Harness for Autonomous Penetration Testing
该论文提出了 Cochise，一个面向自主渗透测试实验的轻量级参考框架（harness），仅 597 行 Python 代码。Cochise 的核心贡献在于提供了一个可复现的实验基础设施，使研究人员能够独立于具体的 LLM 模型、Agent
Every Bit, Everywhere, All at Once: A Binomial Multibit LLM Watermark
本文提出了一种名为“二项式多比特LLM水印”的新方法，旨在解决现有LLM水印技术在商业部署中需要编码复杂载荷（如用户ID、时间戳）时面临的精度和鲁棒性不足问题。核心创新在于引入二项式编码机制，直接在每一个令牌（token）位置编码载荷的每一
SoK: Unlearnability and Unlearning for Model Dememorization
本论文是第一篇系统化整合机器学习模型去记忆化（dememorization）两种主要方法——不可学习性（unlearnability）和机器遗忘（machine unlearning）——的研究综述。不可学习性通过在训练前向数据注入难以感知
Decaf: Improving Neural Decompilation with Automatic Feedback and Search
反编译器是逆向工程中用于从编译后的二进制代码重构源代码的重要工具。然而，由于编译器在将人类可读的代码转换为低级机器码时，会丢失高级语法、标识符和自定义数据类型等信息，因此从编译后的二进制代码中重构源代码是一项具有挑战性的任务。传统的确定性反
Digital Identity for Agentic Systems: Toward a Portable Authorization Standard for Autonomous Agents
该论文探讨了企业AI从副驾驶向自主代理转变过程中面临的授权挑战。随着自主代理能够跨组织边界执行工作流、协商结果并做出决策，传统的身份验证机制已不足以确保安全。论文指出，代理的授权必须明确、可约束、可审计、可撤销，并且能被独立接收方一致解释。