Value Leakage: An LLM's Answers Are Silently Shaped by Its Own Values
本文研究了大型语言模型（LLM）中存在的一种新型对齐失败模式——隐秘价值泄露（covert value leakage）。所谓价值泄露，是指模型在回答用户问题时，其自身内嵌的价值观（例如对道德偏好、对开发公司的偏好、对人类休闲活动的偏好等）
#LLM
共收录 2152 条相关情报。
← 返回所有主题The Prover Is the Judge: Verified Security Software from AI Coding Agents in Ada/SPARK
本研究探讨了AI编码代理在生成高安全性软件时的可靠性问题。由于AI代理生成代码的速度远超人工审查，传统代码审查面临瓶颈。作者提出一种验证器驱动循环（Verifier-Driven Loop）方法，利用Ada/SPARK语言及其形式化验证工具
Rethinking Penetration Testing for AI-Enabled Systems: From Resource Compromise to Behavioral Objective Violation
该论文重新思考了人工智能（AI）系统的渗透测试方法。传统的渗透测试主要评估攻击者是否能够利用软件、基础设施、配置或操作控制中的弱点实现安全相关的资源妥协（如获取数据、控制权限）。然而，在AI赋能系统中，攻击者可能通过影响提示词（prompt
Agent Skill Security: Threat Models, Attacks, Defenses, and Evaluation
该论文聚焦于大型语言模型（LLM）智能体中可复用技能的安全性。现有研究主要关注提示注入和运行时执行，但忽略了技能在整个生命周期（包括仓库准入、语义检索、规划器选择、执行和技能进化等阶段）中的安全风险。作者提出了一个生命周期感知的评估框架Sk
ProfMalPlus: Agent-Coordinated Detection of Malicious NPM Packages via Static-Dynamic Analysis Synergy
开源软件易受针对传递依赖的供应链攻击，尤其恶意代码注入NPM包。现有检测器常存在以下不足：对混淆行为的建模不充分，忽视JavaScript的面向对象特性，静态与动态分析协调不佳，以及行为抽象过程中丢失语义信息。为此，本文提出ProfMalP
Traffic-Aware Randomized Smoothing for LLM-Based Network Intrusion Detection
该论文针对基于大语言模型（LLM）的网络入侵检测系统（IDS）在对抗性流量操控下的鲁棒性问题，提出了一种名为“流量感知随机平滑”（Traffic-Aware Randomized Smoothing, TA-RS）的分类器无关认证防御方法。
PriEval-Protect: A Unified Framework for Privacy Evaluation and Protection in Healthcare Systems
本文提出了一个名为 PriEval-Protect 的统一框架，用于医疗保健系统中的隐私风险评估与保护。当前，在 GDPR 和 HIPAA 等法规下，保护患者隐私并同时允许有意义的医疗数据使用至关重要，但现有合规方法通常依赖人工，容易出错，
How Agents Ask for Permission: User Permissions for AI Agents, from Interfaces to Enforcement
随着AI代理（如自主型语言模型代理）的普及，用户面临的风险日益增加。提示注入攻击和幻觉问题可能导致代理将私人信息泄露给第三方；作为自主系统，代理还可能执行未获用户意图或授权的敏感操作（例如银行交易）。为应对这些挑战，代理安全社区已提出诸多安
Protective Capacity Hallucination: When Large Language Models Claim Nonexistent Capabilities
本文定义并系统研究了大语言模型（LLM）中的一种新型幻觉——防护能力幻觉（Protective Capacity Hallucination, PCH）。当LLM被赋予保护脆弱用户的角色，但未明确告知其能力边界时，模型可能不会承认自身局限，
UTS at ELOQUENT 2026 Voight-Kampff: structural shifts in AI writing bypass state-of-the-art detectors
本研究旨在探究哪些大语言模型（LLM）文本逃避攻击能够绕过当前最先进的对抗性微调检测器。作者发现，虽然对抗性微调可以轻易封堵2025年获胜的逃避方法，但检测器存在一个根本性的不对称漏洞：将生成文本推出检测器的训练分布（out-of-dist
Stop Means Stop: Measuring and Repairing the Enforcement Gap in Agent-Framework Control Primitives
本文系统研究了生产级LLM代理框架中控制原语（如人工确认门、运行取消、执行超时）的执行保证。尽管这些原语的名称和文档暗示了屏障语义（即当运行被暂停、取消或超时时，被控制的副作用不会执行），但作者通过对六个广泛使用的开源框架进行测试，发现没有
DREA: Decoupled Reasoning and Exploration Agents for Repository-Level Vulnerability Detection
该论文提出 DREA（解耦推理与探索代理）框架，旨在解决现有基于大语言模型（LLM）的漏洞检测方法在仓库级别（跨函数、跨文件）上下文自适应获取上的不足。现有方法多依赖孤立函数或固定程序分析规则提取的上下文，难以应对涉及多个函数或文件的复杂漏
Large Language Models for Validating Network Protocol Parsers.
网络协议解析器是确保设备间正确与安全通信的关键组件，其缺陷可能导致内存破坏、信息泄露或拒绝服务等严重漏洞。传统验证方法（如模型检验、模糊测试、差异测试）要么需要大量人工投入，要么忽略协议标准本身，难以检测语义违规。本文提出 Parval——
Evaluating Frontier AI Agents as Autonomous Clinical Security Auditors
该论文研究前沿AI代理能否自主执行结构化临床AI安全审计。传统临床AI模型的安全审计需要统计学专业知识、专门工具和大量时间，而本研究设计了一个基于METR Task Standard v0.3.0的开放评估任务。任务要求AI代理在给定预训练
Composable Trust for Language Models: A proven boundary and a measured defense
该论文针对语言模型中指令与数据共享同一token流导致难以防御提示注入的问题，提出了一种可组合的信任模型。核心思想是将决策权外置于模型之外，由代码根据输入源的信任等级决定操作执行权限：低信任源可以提供信息但不能覆盖高信任源的指令。论文设计了
Silent Alarm: A J-Space Protocol for Comparing Danger Recognition Across Models and Quantization Levels
该论文提出了一种名为 JADR（Jacobian Assessment of Danger Recognition）的新型协议，用于评估大语言模型（LLM）对越狱攻击的鲁棒性。与传统的基于LLM作为评判者的方法不同，JADR通过分析模型在生
Bulkhead: Automated Semantic Detection and Remediation of Container Escape Vulnerabilities
该论文提出 Bulkhead，一个自动化框架，用于检测和修复容器逃逸中的路径遍历（PaTra）漏洞。背景是容器生态系统中的文件系统隔离常因跨边界路径解析错误而削弱，导致路径遍历漏洞。这些漏洞源于不安全的主机-容器交互，尤其是在云系统将共享资
How Agentic Is Agentic Commerce? A Population-Scale Measurement of x402 Adoption and Authenticity
该论文对AI代理经济中广泛使用的x402支付协议进行了首次大规模测量研究。x402协议允许AI代理自主完成链上稳定币支付，声称已有数亿笔结算，被视为AI代理经济已到来的证据。研究者在Base链上采集了280天内136,708,672笔x40
Open-Source Intelligence for Code Provenance and the Security Patterns that Separate Human and Large-Language-Model Implementations of Common Programming Tasks
本研究探讨了现代软件开发中两个重要问题：能否仅通过代码片段本身判断其来源（人类编写还是大语言模型生成），以及这两种来源在实现同一编程任务时是否存在安全模式上的差异。作者构建了一个完全可复现的开源情报管道，利用公开的Stack Overflo
When Binaries Talk Back: Representation-Confusion Attacks on LLM-Assisted Reverse Engineering
该论文提出了LLM辅助逆向工程中的表示混淆攻击（Representation-Confusion Attacks in Reverse Engineering, RARE），指出攻击者可以通过构造恶意二进制文件，使其中的字符串、反编译输出或