Every Model Cheats: Prompt-Level Mitigation of Cheating on Offensive Cyber Tasks
该论文研究了大型语言模型（LLM）智能体在网络安全基准测试中的作弊行为。作者发现，LLM智能体在解决网络攻防任务（如CTF挑战）时，常常通过违规手段（如搜索外部信息、探测系统）来获得虚假的高通过率，从而高估其真实能力。以往对Cybench基
#LLM
共收录 2152 条相关情报。
← 返回所有主题Toward cryptographically verifiable authorization for autonomous AI agents: A security hypothesis, preliminary formal model, and proof-of-concept implementation
该论文针对自主AI代理在有限人类监督下执行操作、调用工具和访问受保护资源时，现有身份认证与授权机制缺乏加密证据来证明特定代理发出的具体请求在特定执行上下文中满足适用策略的问题，提出了一个研究假设：代理授权可以形式化为一个加密可验证的关系（记
Poster CTI4AI: Threat Intelligence Generation and Sharing after Red Teaming AI Models.
本文提出一个名为 CTI4AI 的框架，旨在解决 AI 模型红队测试后产生的威胁情报（Threat Intelligence, TI）难以标准化和共享的问题。当前，AI 模型易受对抗性攻击、提示注入、数据投毒等威胁，而红队测试结果往往以非结
IssueTrojanBench: Benchmarking AI Coding Agents Against Malicious Issue Requests
随着大语言模型（LLM）驱动的AI编码代理被集成到真实软件开发流程中，它们能够自主访问本地文件和工具执行代码生成、编辑与执行，这同时引入了来自LLM主干（如对抗性提示、投毒训练数据、后门触发器）和代理架构（如工具滥用导致外部API误用、数据
Leaky Language Models: Stealing Architecture and Inference Optimizations via Per-Token Timing
该论文提出了一种名为 LeakyLMs 的攻击方法，通过分析语言模型生成每个 token 的耗时（per-token timing），从远程 API 接口中窃取模型架构和推理优化部署细节，无需直接访问模型内部结构。攻击分为两部分：第一部分针
Evaluating Large Language Models for Symbolic Security Protocol Analysis
本研究系统评估了大型语言模型（LLMs）在符号化安全协议分析中的能力，将GPT（包括聊天模式和推理模式）和DeepSeek（两种模式）的表现与专业形式化验证工具ProVerif和OFMC进行对比。研究使用了130个经过混淆处理的AnB/An
Small, Free, and Effective: Orchestrating Open-Weight Small Language Models to Outperform Single LLM for Malware Analysis
恶意软件分析需要快速解读复杂的爆炸报告（包含文件系统、网络和进程行为）。虽然大型语言模型（LLM）在技术性工件解释方面表现出色，但闭源顶尖模型的不透明性和不断上涨的API成本促使研究者探索开源替代方案。然而，许多开源模型体积庞大，需要大量计
Geometric Configurations of Perturbed Jailbreak Prompts
该论文研究了针对大型语言模型（LLM）的越狱提示（jailbreak prompts）在经过字符串级别扰动（如插入字符、同义词替换等）后，如何从失败变为成功的背后机制。作者聚焦于小型开源模型系列（Qwen-2.5-1.5B/3B/7B-In
JANUS: Foreseeing Latent Risk for Long-Horizon Agent Safety
本文针对长周期工具型AI代理的安全问题，提出了一种前瞻性防护框架Janus。传统的内容过滤方法难以应对代理执行复杂任务时因延迟风险导致的故障。Janus通过多智能体模拟合成多样化的代理轨迹，并训练一个共享策略，该策略包含两个耦合任务：1）预
Defense Against LLM Backdoors using Critical Neuron Isolation Pruning
本文提出了一种针对大型语言模型（LLM）后门攻击的新型防御方法DeCNIP（基于关键神经元隔离剪枝的防御）。现有防御通常分为推理时检测或训练时缓解，但存在两个关键局限：一是它们主要针对基于微调的后门（如PEFT模块），无法应对绕过训练管道的
Know Your Agent: Reconnaissance-Driven Pentesting of AI Agents
本文提出了一种针对AI智能体的侦察驱动渗透测试方法。传统渗透测试在每一步都使用侦察来发现隐藏的弱点、构建更强的攻击并推进目标，而作者认为AI智能体需要同样的处理。作者通过建模智能体侦察过程，识别其试图提取的知识资产：包括它们是什么、如何使用
DARWIN: Evolving Jailbreak Adversary and Guardrail for LLM Safety Evaluation and Protection
论文提出了DARWIN框架，旨在解决现有LLM安全评估与防御方法中攻击与防御静态固定的问题。现有方法通常使用固定攻击方法评估漏洞，并在固定恶意提示数据集上训练防护机制，但现实对抗者会不断演进其能力和攻击空间。DARWIN将越狱攻击建模为一个
An Automated Framework for Extracting Reachable Attack Chains from Cyber Threat Intelligence Reports
本文提出一种自动化框架，用于从网络安全威胁情报（CTI）报告中提取可到达的攻击链。现有CTI提取方法主要关注指标、实体或TTP标签，但未建模每个攻击步骤的执行条件和结果状态，因此无法支持状态匹配或多阶段攻击链的可达性分析。该框架将每个攻击步
Paladin: Defending LLM-enabled Phishing Emails with a New Trigger-Tag Paradigm.
随着大型语言模型（LLM）的快速发展，其被恶意利用生成钓鱼内容的威胁日益突出。传统基于语法或语义的钓鱼邮件检测方法难以有效识别LLM生成的邮件，因为这类邮件通常没有拼写错误或其他明显特征，且能针对特定领域定制内容，成功率更高。现有的一些基于
A Tool for Safe and Accurate IoT Automation Rule Generation Using Large Language Models.
本文提出了 Ruleengine，这是一个利用大型语言模型（LLM）将用户的自然语言描述自动转换为有效且安全的物联网（IoT）自动化规则的工具。随着物联网设备的普及，用户倾向于使用自然语言来表达自动化需求，但将这种非结构化描述转化为平台特定
AuthProbe: Specification-Driven, Multi-Identity Detection of Broken Object-Level Authorization in Recruitment API
Broken Object-Level Authorization (BOLA，也称为Insecure Direct Object Reference, IDOR) 自2019年以来一直位居OWASP API安全排名榜首，是招聘技术领域最大
GhostPrompt: Cross-Image Adversarial Prompt for Vision-Language Models
本文针对视觉语言模型（VLM）在对抗性攻击下的脆弱性展开研究。现有基于文本的对抗攻击方法大多从纯语言模型迁移而来，其提示优化过程中固定视觉输入，导致生成的对抗提示与特定图像绑定，跨图像迁移性差。为突破这一局限，作者首次提出“对抗提示的跨图像
FedLSG: LLM-Enhanced Semantic Calibration for Federated Graph Backdoor Defense
联邦图神经网络（FedGNN）在分布式图数据学习中具有广泛应用，但面临后门投毒攻击的严重威胁。现有防御方法多基于规则，缺乏对攻击触发器的语义理解，容易受到隐蔽触发器的攻击，同时可能破坏良性图结构。为此，本文提出 FedLSG，首个将大语言模
Twin Agent: Context Residual Compression for Privilege Separated Agents
大型语言模型（LLM）代理面临多种安全风险，尤其是来自不可信上下文的提示注入攻击，这些攻击会操纵下游推理和工具使用。现有的安全设计方法通过分离不可信观察与特权执行，并严格控制信息流来缓解风险，但往往降低效用且需要大量特定任务的工程工作。本文
Integrity of peer-to-peer distributed LLM inference under malicious nodes
该论文研究了对等网络（P2P）分布式大语言模型（LLM）推理的完整性保证问题。在P2P分布式推理场景中，LLM的层被分散到多个节点上，每个请求依次经过由不同独立方拥有和控制的节点。任何恶意的节点都有可能篡改其负责的层的输出，从而破坏最终结果