PIDS-Bench: Evaluating Prompt-Injection Detectors Under Over-Defense, Obfuscation, and Distribution Shift
提示注入(prompt injection)检测器目前普遍以分布内测试集上的聚合 F1 作为主要评价指标,这种做法掩盖了模型在分布偏移下的真实行为,尤其是决策边界的良性一侧:误报会直接产生运维成本(告警疲劳、正常业务被拦截),却往往没有被单
#cs.AI
共收录 1660 条相关情报。
← 返回所有主题ActGuard: Pre-execution Action Auditing against Indirect Prompt Injection in LLM Agents
该论文关注 LLM Agent 在调用外部工具时面临的间接提示注入（Indirect Prompt Injection, IPI）风险：由于 Agent 需要读取网页、文件、API 返回等外部内容，攻击者可将恶意指令埋入这些工具输出中，诱导
The Stochastic Deputy: Structural Tenant Isolation for Tool-Using LLM Agents
该论文形式化了工具调用型 LLM Agent 中的「随机代理问题」(stochastic deputy problem):多租户工具通常要求调用方传入租户标识(tenant id),再由工具依据调用方授权校验该标识。但当调用方是 LLM A
TriCalRAG: A Three-Strategy, Retrieval-Augmented Benchmark for On-Premise LLM-Based Root Cause Analysis in AIOps
该论文面向 AIOps 场景中的根因分析（RCA）任务，指出现有做法多依赖云端托管的大语言模型，虽然能力较强，但会带来数据隐私外泄风险、网络往返延迟以及随生产日志规模线性增长的按查询计费成本，难以在日志量极大的生产环境中长期支撑。为此作者提
AcquireBound: Runtime Authorization for Resources Acquired by AI Agents
该论文聚焦一个此前被忽视的授权盲区：自主 AI 智能体在执行任务过程中会「获取(acquire)」计算资源、凭证、账户、外部服务乃至其他智能体，这些被获取的对象一旦返回，就会给原任务引入新的权限。作者指出，现有的支付校验、预算控制、OAut
SENTINEL: A Multi-Pathway Architecture for Detecting Living-Off-the-Land APT Attacks on Windows Command Lines
该论文聚焦 Windows 环境下“离地攻击”（Living-Off-the-Land, LOTL）的检测难题。LOTL 已成为 APT 组织最主要的规避手法：攻击者不投放自研恶意软件，而是滥用系统自带的合法签名工具（PowerShell、
AI Deployment Accountability Engineering: A Vision for Accountable AI in Safety-Critical Socio-Technical Systems
这是一篇来自 arXiv 的立场/愿景论文（vision paper），作者为 Murat Kantarcioglu，归类于 cs.AI 与 cs.CY。论文指出，AI 系统正快速成为医疗、金融、公共服务等安全关键（safety-criti
Deep-Fake CAPTCHA: Mitigating Next-Generation Social Engineering Attacks
本文针对实时深度伪造（real-time deepfake）驱动的语音与视频冒充攻击，提出了一套名为 DF-CAPTCHA 的主动防御框架。研究背景是：随着实时换脸与语音克隆模型推理延迟不断降低，攻击者已能在通话过程中实时伪装成他人身份，用
terms.txt: A Consent and Compensation Protocol for Agentic Web Access
该论文针对「AI 爬虫与智能体正在瓦解开放互联网默认契约」这一现实问题，提出了一套面向机器访问的授权与补偿协议。作者首先指出现状：开放网络长期依赖一项未写入合同的默契——网站允许爬虫抓取，搜索引擎以回送访客作为回报。公开测量数据显示这一默契
BenchShield: Formal Model-Backed Instrumentation for Reward Integrity in LLM-Agent Evaluation Infrastructure
本文针对 LLM 智能体（LLM-Agent）评测基础设施中的奖励劫持（reward hacking）问题，提出了一套名为 BenchShield 的模型化插桩与检测框架。背景在于：当前的智能体基准测试已经从静态问答演变为交互式评测基础设施
DeFiFusion: Combining Transaction Events with Smart Contracts to Detect Price Manipulation Attacks
该论文研究的是去中心化金融（DeFi）中的价格操纵攻击（Price Manipulation Attacks, PMA）检测问题。背景上，DeFi 作为基于区块链的快速增长型金融服务，其市场交易动态与底层智能合约逻辑深度耦合；这种无需中心化
Demystifying the Privacy-Utility Trade-off in LLM Interactions
该论文关注大语言模型进入日常任务后产生的隐私与效用矛盾：用户为了让模型完成复杂任务，必须提供上下文丰富的指令，其中往往夹带姓名、地址、账号、病史等敏感信息。目前主流的隐私保护做法是在把提示词发给模型之前套用一套与上下文无关的静态规则（例如统
DriftNet: A Dual-Head Trajectory Transformer for Detecting and Localizing Prompt Injection in LLM Agents
该论文关注 LLM 智能体（Agent）面临的间接提示注入（indirect prompt injection）检测难题。作者指出，当注入攻击成功时，攻击痕迹会体现在 Agent 自身的行为轨迹上：一段正常的工具调用前缀、一个被投毒的观测结
No-Box Vulnerability Analysis: Description-only Detection of Indirect Prompt Injection Vulnerabilities in MCP Servers
传统漏洞分析通常依赖对目标系统的访问权限或与其动态交互，但在第三方分析师审计闭源、远程托管、关键在役系统或商业受限软件时，这两类条件往往都不具备。为此，论文提出一种新的分析范式——无盒漏洞分析（no-box vulnerability an
Beyond Static Guarantees: Measuring the Static-Pass Dynamic-Fail Gap in Security-Sensitive and LLM-Generated Python Code
该论文提出并量化了「静态通过、动态失败」（Static-Pass Dynamic-Fail, SPDF）现象：代码通过了静态安全扫描，但在真实运行时仍可被利用。作者指出，静态分析因可扩展、可复现、成本低，被广泛当作软件供应链与 AI 生成代
Temporal and Multimodal Deep Learning for Cyberattack Detection in LEO Satellite Systems
随着低地球轨道（LEO）卫星通信系统在通信、导航与遥感等领域的重要性不断提升，针对复杂动态空间环境的智能网络攻击检测需求日益迫切。与传统的网络入侵检测不同，卫星系统产生的数据具有显著的多源异构特征：既包括射频（RF）链路的信号信息，也涵盖星
CARTS: Contextual Autoregressive Rank Transcoding Steganography for Full-Capacity Keyed Text Encoding
本文研究的是如何利用自回归语言模型构建隐蔽通信信道的问题。其核心观察是：自回归模型在生成每个 token 时，会对候选 token 形成一个按概率排序的"秩"（rank）分布；如果在生成过程中保持每个位置上被选中 token 的相对秩不变，
Architecting the Secure AI-SOC: A Neurosymbolic Framework for Pipeline Integrity and Threat Mitigation
该论文聚焦于大语言模型（LLM）被引入安全运营中心（SOC）后所引入的新型攻击面。作者指出，将 LLM 用于威胁情报的聚合、解读与优先级排序虽然显著提升了分析效率，但同时也打开了间接提示注入（indirect prompt injectio
Learning Intrusion Response Strategies for OT Systems
该论文面向工业控制系统（OT，Operational Technology）的自动化入侵响应问题。OT 系统负责监控和控制电力、水务、制造等关键工业过程，一旦遭受网络攻击，可能直接影响社会基础服务的可用性与安全性，因此仅靠人工响应已难以满足
Active Adaptation, Not Static Defense: Temporal Dynamics of Preventative Steering in Adversarial Fine-Tuning
该论文研究的是大语言模型在恶意微调（adversarial fine-tuning）下的安全对齐脆弱性问题，以及训练期防御手段的时效机制。已有工作提出「预防性引导」（Preventative Steering）：在微调阶段向模型注入代表不良