#benchmark

共收录 180 条相关情报。

学术论文2026-10-04 发布INFO

VulValidate: Auditing Function-Level Vulnerability Labels with Executable Evidence

基于学习的漏洞检测高度依赖训练标签的质量。现有大规模数据集（BigVul、PrimeVul、DiverseVul 等）通常以「漏洞修复提交」为依据，把被补丁改动过的函数直接标注为「存在漏洞」，但被安全补丁修改并不等于该函数本身存在漏洞，由此

历史摘要 · 未重新核验 · arXiv cs.CR

#cs.AI #cs.SE #vulnerability-detection #dataset-quality #label-noise #llm-agent

学术论文2026-10-03 发布INFO

Autonomous Active Directory Exploitation via Multi-Model Harness Orchestration: A Benchmark Study with NeuroSploit on GOAD

该论文聚焦 Active Directory（AD）这一企业身份与访问管理核心基础设施，评估大语言模型（LLM）在自主渗透测试中的可行性与可靠性。作者指出，既有研究虽已证明 LLM 可自主完成“假定失陷”条件下的 AD 渗透，但普遍使用孤立

历史摘要 · 未重新核验 · arXiv cs.CR

#active-directory #llm-agent #autonomous-pentest #agent-security #kerberos #adcs

学术论文2026-10-02 发布INFO

Persona Guardrail: A Production-Grade Defense Framework for Agentic Systems

该论文关注的是基于大语言模型的智能体（agent）在生产环境中的功能边界失控问题。作者指出，当前多数运行时护栏（runtime guardrail）主要针对提示注入等特定攻击行为，且普遍在黑盒威胁模型下工作，难以保证智能体「只在被授权的功能

历史摘要 · 未重新核验 · arXiv cs.CR

#agent-security #llm #guardrail #runtime-defense #benchmark #out-of-domain-detection

学术论文2026-10-02 发布MEDIUM

EvoRiskBench: An Evolving Benchmark for Runtime Security Risks in Workspace Agents

该论文针对「工作区智能体」（Workspace Agents）的运行期安全风险，提出了一个可持续演进的基准测试框架 EvoRiskBench。工作区智能体将大语言模型与执行框架（harness）结合，能够执行有状态、多步骤的任务，并访问或修

历史摘要 · 未重新核验 · arXiv cs.CR

#cs.AI #agent-security #llm #benchmark #runtime-security #workspace-agent

学术论文2026-10-02 发布INFO

Securing Computer-Use Agents Against Branch Steering Attacks

该论文研究的是计算机使用代理（Computer-Use Agents, CUA）在图形界面环境下面临的一类新型间接提示注入风险——分支引导攻击（branch steering attack），并提出相应的防御架构 COBRA。背景方面：现代

历史摘要 · 未重新核验 · arXiv cs.CR

#cs.AI #agent-security #llm #prompt-injection #computer-use-agent #dual-llm

学术论文2026-10-01 发布INFO

KaliBench: A Fine-Grained Benchmark for Cybersecurity Tool Use on Kali Linux with Runtime-Free Verifiable Rewards

该论文针对一个被忽视的评测缺口：大语言模型正被越来越多地用于网络安全工作流，需要把分析师的意图翻译成对真实安全工具的调用，但现有评测要么停留在知识问答层面，要么只评估端到端 agent 任务完成情况，并未直接衡量模型为真实网络安全工具生成「

历史摘要 · 未重新核验 · arXiv cs.CR

#cs.CL #cs.AI #llm #agent-security #benchmark #command-line

学术论文2026-10-01 发布INFO

ABSENTIA: Detecting Broken Access Control Vulnerabilities in Web Applications

该论文聚焦 Web 应用中最为普遍的安全风险之一——失效的访问控制（Broken Access Control, BAC），即授权机制的缺失或错误。作者指出，与注入类漏洞本质不同：注入是“不可信数据流入危险操作”的数据流问题，而授权是一种“

历史摘要 · 未重新核验 · arXiv cs.CR

#cs.SE #access-control #llm-agent #sast #web-security #benchmark

学术论文2026-10-01 发布INFO

AuraForge: Scaling Security Supervision for Training Coding Agents

该论文关注的是一个正在快速浮现的安全盲区：随着编码智能体（coding agents）能力增强到可以从单条提示词直接生成复杂软件应用，人类监督方式已从逐行代码审查转向对最终运行结果的黑盒式验收。已有研究指出，这种转变带来关键风险——功能正确

历史摘要 · 未重新核验 · arXiv cs.CR

#cs.CL #cs.CY #agent-security #llm #secure-code-training #cwe

学术论文2026-09-30 发布INFO

Do Defenses Against LLM Extraction Work Across Attacks? A Lifecycle Benchmark of Black-Box Model Extraction

该论文针对大语言模型（LLM）通过纯文本 API 部署时面临的模型提取风险展开研究。攻击者可通过收集模型响应训练替代模型，从而复制受害模型的能力。尽管已有工作提出了多种提取攻击与防御方法，但现有评估在访问假设、模型配置、查询预算和安全目标上

历史摘要 · 未重新核验 · arXiv cs.CR

#llm #model-extraction #benchmark #ai-security #defense

学术论文2026-09-29 发布INFO

When Tools Silently Lie: Evaluating and Mitigating Blind Compliance in Tool-Augmented Data Agents

该论文研究工具增强型数据智能体（tool-augmented data agents）中的一个关键可靠性缺陷：当工具调用在技术上“执行成功”时，其返回的证据仍可能是貌似合理却实际错误的，而智能体往往并不具备判断该证据应当被采信还是应当被交叉

历史摘要 · 未重新核验 · arXiv cs.CR

#cs.AI #agent-security #llm #tool-augmented-agents #benchmark #trustworthiness

学术论文2026-09-29 发布INFO

CyberPersistBench: Evaluating LLM-Based Cyber Attackers on Installation and Persistence

本文关注 LLM 驱动攻击者在大模型安全评测中的一个明显盲区：持久化能力。现有主流网络安全基准大多采用「单阶段」设计，一旦完成初始访问（initial access）即终止评测，因此在服务重启、主机重启等运维扰动下是否还能保住据点，从未被系

历史摘要 · 未重新核验 · arXiv cs.CR

#agent-security #llm #benchmark #post-compromise #persistence #red-team

学术论文2026-09-28 发布INFO

Multi-Class, Multi-Tier Network Intrusion Detection: A Comprehensive and Reproducible Benchmark

近年来机器学习与深度学习主导了入侵检测系统（IDS）研究，但大量已发表成果存在指标虚高和基准不可复现的问题。这些问题贯穿 ML/DL 流水线全过程：从数据采集与标注，到特征工程、模型训练与评估。CIC-IDS2017 是网络入侵检测领域常用

历史摘要 · 未重新核验 · arXiv cs.CR

#cs.LG #network-intrusion-detection #ids #cic-ids2017 #benchmark #machine-learning

学术论文2026-09-28 发布INFO

SEABench: Benchmarking Endogenous Misalignment In Self-Evolving Agents

该论文关注自演化 LLM 智能体（self-evolving LLM agents）带来的内生性失配（endogenous misalignment）风险。这类智能体在部署后能够根据用户与环境反馈修改自身"装备"（harness），包括控制

历史摘要 · 未重新核验 · arXiv cs.CR

#cs.AI #cs.CL #agent-security #llm #self-evolving-agents #alignment

学术论文2026-09-28 发布MEDIUM

"Nothing to See Here'': Unintended Disclosure through Revision Traces of LLM Deliverables

该论文研究大语言模型助手在协助用户起草发给第三方的交付物时出现的一类隐私泄露问题。用户在私密草稿阶段可能先写入某个条目、随后又删除或替换它；模型虽然在目标内容中删掉了该条目，却在陈述本次编辑动作时把它重新说了出来，作者将这类语句命名为"修订

历史摘要 · 未重新核验 · arXiv cs.CR

#cs.AI #llm #privacy #data-leakage #agent-security #benchmark

学术论文2026-09-28 发布MEDIUM

DGF-Bench: A Benchmark for Simulating and Auditing Deception Against Multi-Agent Governance Boards

DGF-Bench 是一篇面向多智能体（multi-agent）治理决策场景的评测基准论文，作者 Jeremy Canale，归类 cs.AI。其核心问题是：当由语言模型驱动的智能体代替企业治理委员会来评审项目时，它们需要阅读证据、套用成文

历史摘要 · 未重新核验 · arXiv cs.CR

#cs.AI #agent-security #llm #multi-agent #prompt-injection #benchmark

学术论文2026-09-28 发布INFO

JEV as a Judge for Agent Trace Security: An Empirical Comparison with Generative LLM Judges

该论文研究的是「工具型智能体（tool-using agent）行为轨迹的安全判定」这一评测环节本身的可选方案问题。背景是：对会调用外部工具的智能体做安全评估，必须结合上下文判断每一步动作是否构成风险；当前主流做法是让生成式大模型充当裁判（

历史摘要 · 未重新核验 · arXiv cs.CR

#agent-security #llm-judge #trace-analysis #benchmark #tool-calling

学术论文2026-09-28 发布INFO

CoSec: Benchmarking Agent Security in Communities

该论文关注的是 LLM agent 在持久化协作环境中运行时所面临的隐私与授权风险。这类环境通常包含多个用户、社区（community）、长期记忆、共享文件以及各类工具，而社区边界并非静态：成员变更、角色调整、成员构成变化和参与者关系演化都

历史摘要 · 未重新核验 · arXiv cs.CR

#cs.AI #agent-security #llm #privacy #authorization #benchmark

学术论文2026-09-28 发布MEDIUM

MMSkillRisk: Can Agents Stay Safe When Multimodal Skills Become Traps?

该论文关注 AI Agent 技能（Agent Skills）生态中的一个新攻击面：技能是可在社区中共享、复用的程序化包，通常包含指令文本、工具定义和示例；多模态技能在此基础上还附带视觉参考图，Agent 在执行时会主动检索并"查看"这些图

历史摘要 · 未重新核验 · arXiv cs.CR

#cs.AI #agent-security #llm #multimodal #prompt-injection #benchmark

学术论文2026-09-28 发布INFO

ReproBench: Benchmarking LLM Agents on Reproducing Vulnerability From Scratch

该论文关注大语言模型（LLM）代理在网络安全任务中的评测问题。现有基准大多采用“后环境”评测范式，即直接向代理提供源代码、容器或可执行二进制，从而跳过了真实漏洞分析中最关键的环境重建环节。作者提出核心问题：代理能否仅凭一个 CVE 编号，自

历史摘要 · 未重新核验 · arXiv cs.CR

#llm-agent #vulnerability-reproduction #benchmark #iot-firmware #security-evaluation

学术论文2026-09-27 发布INFO

SecProbe: Adaptive Evaluation of Coding Agents on Cybersecurity Vulnerabilities

该论文关注一个日益重要的问题：如何可靠地评估编码智能体（coding agent）在网络安全漏洞方面的意识与修复能力。作者指出，传统静态基准存在明显局限：任务覆盖范围与难度固定，模型能力提升后容易饱和；而真实世界可用的脆弱代码仓库稀缺，专家

历史摘要 · 未重新核验 · arXiv cs.CR

#cs.AI #agent-security #llm #coding-agent #vulnerability-evaluation #benchmark