Passing the Test You Trained On: Re-evaluating Prompt-Injection Detectors for LLM Agents
这篇论文研究一个在 LLM Agent 安全部署中非常现实的问题: 当团队要为 Agent 选择提示注入(prompt injection)检测器来筛查工具输出(tool outputs)时, 通常依据的是厂商或论文在公开基准上的分数, 但
#benchmark-evaluation
共收录 3 条相关情报。
← 返回所有主题Passive Hybrid Network-Based Intrusion Detection System (Hybrid-NIDS) Combining Suricata and Random Forest
该论文评估了一个被动式混合网络入侵检测系统原型的实际效果，系统由三部分组成：Suricata 负责基于签名的流量检测，随机森林（Random Forest）负责流级分类，并通过集中式 ELK 栈完成告警汇聚与处理。作者的核心关切并非再刷一个
What AI Red-Team Evaluations Can and Cannot Prove
这篇论文系统性地研究了AI模型红队评估（red-team evaluations）的证据局限性问题。作者定义了一个名为“证据上限”（evidential ceiling）的概念，即在固定测试预算下，单一评估结果能使信念发生改变的最大倍数。通