pikit: A Composable Toolkit for Indirect Prompt Injection Research and Evaluation
该论文提出 pikit，一个面向间接提示注入（Indirect Prompt Injection, IPI）的可组合研究工具包，用于系统化评测 LLM 智能体面临的此类威胁。间接提示注入的核心问题是：攻击者将恶意指令嵌入智能体从外部检索到的
#evaluation-framework
共收录 10 条相关情报。
← 返回所有主题ORBIT: A Framework for Multi-Agent Safety and Security Evaluations
多智能体 LLM 系统正越来越多地被用于复杂、长周期的任务，同时也因智能体在真实环境中互相交互而自发形成。这类系统在带来任务泛化能力的同时，也引入了显著的安全与安全风险：支撑任务泛化的灵活通信协议同样暴露了新型威胁，从级联式提示注入（cas
CIPL: A Channel-Aware Framework for Recoverable Privacy Leakage in LLM Agents
该论文指出，当前对 LLM 智能体（LLM Agent）隐私泄露的评估大多局限在单一组件内部（如记忆模块、检索链路、工具调用流水线），因此无法区分「内部已经暴露的敏感信息」与「外部观察者实际能够还原出的信息」这两类本质不同的问题。为此作者提
Encarsia: Evaluating CPU Fuzzers via Automatic Bug Injection.
该论文提出 Encarsia，一种通过自动注入缺陷（bug injection）来评估 CPU 模糊测试器（fuzzer）有效性的框架。研究背景：随着 CPU 设计复杂度增加，硬件漏洞层出不穷，模糊测试成为发现 CPU 漏洞的主流手段，但不
Adversarial Frontiers: Minimum-Norm Attack Ensembles for Robustness Evaluation
本文针对当前对抗鲁棒性评估方法的局限性，提出了一种新的评估框架。现有方法通常使用预定义的攻击集成（如AutoAttack）在单一扰动预算ε和少量范数下进行评估，存在三个根本问题：1) 模型间的鲁棒性-扰动曲线可能相交或以不同速率衰减，导致单
JailMeter: An Evidence-Based Evaluation Framework for Jailbreak Attacks on Large Language Models
本文提出 JailMeter，一个基于证据的越狱攻击评估框架，旨在解决当前大语言模型越狱攻击评估中标准不一致、方法不统一导致攻击成功率估计不可靠的问题。受信息瓶颈理论启发，JailMeter 采用双反馈优化机制，首先过滤模型响应中的越狱噪声
MTD-Playground: An Attacker-Aware Evaluation Framework for Network Moving Target Defense
移动目标防御（MTD）作为一种主动网络防御范式，通过动态网络重构技术（如软件定义网络（SDN）启用的路径随机化）增加攻击者的不确定性。然而，现有评估因攻击者假设、攻击场景和评估指标不一致而碎片化，限制了可重复性和面向部署的比较。本文提出MT
AdvScene: Rethinking Adversarial Patch Evaluation Through Scene Robustness
论文《AdvScene: Rethinking Adversarial Patch Evaluation Through Scene Robustness》重新审视了对抗补丁（adversarial patch）的评估方法。对抗补丁是附着在
Honeyval: A Comprehensive Evaluation Framework for LLM-powered HTTP Honeypots
该论文提出了 Honeyval，一个针对基于大型语言模型（LLM）的 HTTP 蜜罐的全面评估框架。蜜罐是一种模拟真实系统组件的诱饵，用于防御网络攻击。近年来，LLM 越来越多地被用作蜜罐的模拟后端，使防御者能够构建高交互蜜罐，同时降低系统
EvaluatAR: A Cross-Device Evaluation Framework for Rapid Prototyping of Bystander PETs in AR
增强现实（AR）头戴设备持续感知周围环境，捕获附近的旁观者，从而引发隐私风险。视觉旁观者隐私增强技术（PET）通过检测自我中心场景视图中的旁观者并应用隐私转换（如模糊化）来缓解这一风险。然而，传统的PET评估依赖于人工、开销高且设备特定，导