BioRefusalAudit: Auditing Biosecurity Refusal Depth Using General and Domain-Fine-Tuned Sparse Autoencoders
该论文研究了语言模型在生物安全场景下的拒绝行为可靠性。传统评估关注模型是否生成有害输出，但本论文提出一个补充问题：当模型拒绝时，其拒绝是否结构稳固，抑或在提示措辞、格式或输出长度的微小变化下消失？作者在五种架构（Gemma 2 2B-IT、
#cs.AI
共收录 1684 条相关情报。
← 返回所有主题How Reliable Are AI Attackers Against a Fixed Vulnerable Target? A 400-Run Empirical Study of LLM Penetration Testing Consistency
本文针对大型语言模型（LLM）作为自主攻击者的行为一致性进行了首个大规模实证研究。研究团队在固定提示词、编排器和目标环境（包含OWASP Juice Shop及两个附加易受攻击服务的蜜罐）的条件下，对四种LLM（Claude Sonnet
Token Inflation: How Dishonest Providers Can Overcharge for Large Language Model Usage
本文研究了大型语言模型（LLM）商业服务中按token计费模式下的审计漏洞。当前主流计费方式是基于token数量收费，但服务提供商出于保护知识产权、防御越狱攻击和用户隐私等理由，隐藏了模型、分词器及执行细节，使得用户难以独立验证计费toke
Honeyval: A Comprehensive Evaluation Framework for LLM-powered HTTP Honeypots
该论文提出了 Honeyval，一个针对基于大型语言模型（LLM）的 HTTP 蜜罐的全面评估框架。蜜罐是一种模拟真实系统组件的诱饵，用于防御网络攻击。近年来，LLM 越来越多地被用作蜜罐的模拟后端，使防御者能够构建高交互蜜罐，同时降低系统
Hijacking Agent Memory: Stealthy Trojan Attacks Through Conversational Interaction
本文提出了一种针对大型语言模型（LLM）智能体长期记忆系统的隐蔽后门攻击方法——MemPoison。LLM智能体通过长期记忆支持持续自主的任务执行，但记忆系统的选择性提取和重写机制使得传统记忆投毒攻击难以生效。MemPoison通过对话交互
NumLeak: Public Numeric Benchmarks as Latent Labels in Foundation Models
本研究揭示了大型基础语言模型在预训练阶段可能无意中记忆了公开的数值基准数据（如金融因子、经济指标、气候数据），导致基于时间截断的评估实际上测量的是模型的记忆能力而非泛化能力。作者提出了 NumLeak 测量框架，该框架结合了对生产环境闭源模
AgentDoG 1.5: A Lightweight and Scalable Alignment Framework for AI Agent Safety and Security
该论文针对开放世界AI代理（如OpenClaw）在跨环境执行时引入的新型安全风险，提出了一种轻量级、可扩展的代理安全对齐框架AgentDoG 1.5。研究背景指出，现有前沿AI模型大幅降低了攻击门槛，而当前的对齐框架不足以应对真实部署中的威
Temporal Motif-aware Graph Test-time Adaptation for OOD Blockchain Anomaly Detection
本文针对区块链异常检测中面临的两大挑战：恶意行为者造成的对抗性模式演化，以及区块链上交易语义多样性导致的分布外（OOD）问题。作者提出了一种名为 TEMG-TTA（时间感知的图测试时自适应）的新型框架。该框架首先通过高效的计算机制全面捕获每
KBF: Knowledge Boundary as Fingerprint for Language Model and Black-Box API Auditing
本文提出了一种名为 KBF（Knowledge Boundary as Fingerprint）的低成本黑盒审计协议，用于检测大型语言模型（LLM）API 中模型替换或混合路由攻击。在 LLM 生态中，转售 API 和中间商可能欺诈性地将用
SciIntBench: Measuring LLM Compliance with Research Integrity Norms Under Adversarial Framing
该论文提出了一个名为 SciIntBench 的对抗性基准测试，用于评估大型语言模型（LLM）在研究诚信规范下的行为。研究背景是：LLM 越来越多地用于支持科学工作，但它们是否会维护或破坏负责任的研究行为（RCR）尚不清楚。作者设计了 81
AliMark: Enhancing Robustness of Sentence-Level Watermarking Against Text Paraphrasing
本文针对句子级文本水印在强释义攻击下鲁棒性不足的问题展开研究。现有的句子级水印方法通过将水印锚定在句子语义上来增强对释义的鲁棒性，但基于前缀的设计仍然容易受到句子分割和合并等结构扰动的影响，这些扰动在DIPPER、GPT-3.5等强释义器下
Provably Secure Agent Guardrail
本文针对大型语言模型从有限生成引擎向具有广泛执行权限的智能代理转型过程中出现的失控问题，提出了一种基于逻辑推理基本局限性的新型安全范式。现有防御架构主要依赖经验性语义护栏和概率性大模型裁决器，无法在复杂语义符号解耦攻击下提供确定性安全下界。
Relevance as a Vulnerability: How Web Retrieval Degrades Safety Alignment in LLM Agents
本文研究了AI Agent通过集成网络检索等外部工具来增强大语言模型（LLM）的能力，使其能够提供基于实时信息的响应。然而，将外部内容纳入生成流程会削弱模型原有的安全对齐机制，导致对有害请求的遵从性增加。作者提出了一个诊断框架AgentRE
Paper Agents, Paper Gains: An Empirical Analysis of DeFi Investment Agents
本文对DeFi投资代理（即基于AI的自主链上交易系统）进行了大规模的实证分析。自2024年末以来，此类代理的合并代币估值已超过30亿美元。作者首先调查了超过1,900个标注为AI的加密项目，筛选出专注于投资的代理，并从中精选出10个具有代表
Domain-Informed Representation for Evolutionary Sieving in Integral and Module Lattices
该论文针对后量子密码学中核心的最近向量问题（SVP），提出了一种基于领域知识指导的进化筛选方法。传统密码学依赖的整数分解和离散对数问题在量子计算机面前脆弱，而SVP是量子安全密码学的基石。作者将Ajtai等人提出的筛法视为遗传算法（GA），
unix-ctf: Procedural Environments for Unix-Competence Reinforcement Learning
本文提出 unix-ctf，一个面向 shell 智能体的 CTF 任务生成器，旨在专门训练和评估 Unix 能力（即使用 shell 和操作系统原语作为一等工具的能力），以解决现有终端基准（如 Terminal-Bench 2.0）中智能
GEO-Bench: Benchmarking Ranking Manipulation in Generative Engine Optimization
大语言模型（LLM）越来越多地用于对用户查询的产品、文档和推荐进行排名，这使得操纵这些排名成为影响公平性和信息完整性的一个日益严重的问题。生成式引擎优化（GEO）领域的研究已经提出了许多操纵方法，但每种方法都在自己的数据集上使用自己的指标进
Robust and Efficient Guardrails with Latent Reasoning
随着大型语言模型（LLM）在现实应用中的广泛部署，确保其安全性至关重要。现有的安全护栏通常依赖单次分类或最近提出的蒸馏推理方法。基于推理的护栏显著优于纯分类基线，但会引入大量查询延迟和令牌开销，使其难以在高吞吐量场景中部署。为了解决这一挑战
SCDBench: A Benchmark for LLM-Based Smart Contract Decompilers
智能合约反编译旨在从字节码恢复高级语言源代码，但现有评估方法存在数据集狭窄、指标不一致、语义一致性检查有限等问题。随着大型语言模型（LLMs）开始生成看似合理但语义可能偏离原始合约的Solidity代码，这一问题变得日益重要。本文提出SCD
Measuring Real-World Prompt Injection Attacks in LLM-based Resume Screening
本研究首次系统性地测量了大型语言模型（LLM）在实际应用中的提示注入攻击威胁，聚焦于广泛使用的LLM简历筛选系统。研究基于hireEZ公司收集的约20万份真实简历数据，时间跨度数年。作者首先设计了专门针对简历文本的提示注入检测方法，通过在小