Large Language Models Hack Rewards, and Society
该论文探讨了大型语言模型（LLM）在强化学习（RL）后训练阶段中可能出现的“奖励黑客”（reward hacking）行为如何扩展到更广泛的社会层面，即“社会黑客”（societal hacking）。作者指出，社会规则与奖励函数在结构上具
#cs.AI
共收录 1684 条相关情报。
← 返回所有主题AI Agents Enable Adaptive Computer Worms
该论文提出了一种基于人工智能（AI）代理的新型自适应计算机蠕虫。传统蠕虫（如WannaCry）利用固定漏洞进行传播，可通过打补丁阻断。而本文展示的AI蠕虫能够在感染每台机器后，利用被入侵设备上的开源大语言模型（LLM）进行推理，针对每个新目
PURGE: Projected Unlearning via Retain-Guided Erasure
本文提出了一种名为 PURGE 的机器遗忘算法，其核心思想基于持续学习（Continual Learning, CL）与机器遗忘（Machine Unlearning, MU）的本质二元性：持续学习旨在学习新任务而不遗忘旧知识，而机器遗忘则
From Control Boundary to Insurance Claim: Reconstructing AI-Mediated Losses Through the CER Framework
该论文聚焦于人工智能（AI）系统中产生的损失如何进行准确重建与保险索赔。当前保险理赔主要依赖事件重建，但AI系统（尤其是生成式AI和智能体系统）具有状态依赖性，其行为随推理、检索、工具调用和自主行动而动态变化，因此需要状态重建而非简单的事件
Need to Know: Contextual-Integrity-Grounded Query Rewriting for Privacy-Conscious LLM Delegation
本文针对用户向云端LLM发送查询时的隐私泄露问题，提出了一种基于情境完整性（Contextual Integrity, CI）的查询重写方法。现有基于PII类型的脱敏方式忽略上下文，导致两类问题：过度暴露未标注的敏感上下文，或过度移除与回答
Black-box, Adaptive, Efficient, Transferable, Harmful, Applicable... Attacks Are All You Need to Break LLMs
该论文针对大型语言模型（LLM）的对抗鲁棒性评估缺乏标准化基准的问题，提出了一种新的攻击方法——间接危害优化（Indirect Harm Optimization, IHO）。目前，LLM的越狱攻击评估存在诸多缺陷：攻击设计不完善会导致鲁棒
Testing LLM Arithmetic Reasoning Generalization with Automatic Numeric-Remapping Attacks
该论文研究了大型语言模型（LLM）在算术推理任务中对数值变化的鲁棒性问题。尽管LLM在基准测试中表现优异，但已有研究表明其对数值变化敏感：同一问题在不同数值下可能失败。现有方法多依赖模板或人工约束，局限性较大。为此，作者提出一种自动化的数值
High-Precision APT Malware Attribution with Out-of-Scope Resilience
该论文针对高级持续性威胁（APT）恶意软件归因问题提出了一种高精度方法。现有方法通常作为闭集分类器在有限数量的已知APT组上进行训练和评估，但在实际运营环境中，分类器可能遇到来自训练中未出现的组的样本，闭集分类器会错误地将这些样本归入已知组
Overlaying Governance: A Compositional Authorization Framework for Delegation and Scope in Agentic AI
随着AI系统从被动模型演变为能够自主发起行动、协作和委托任务的自主智能体，传统软件系统的边界变得模糊。传统的授权和委托框架基于固定的主体、显式请求和静态范围，不足以治理智能体系统。智能体AI需要更丰富的授权语义：智能体必须能够继承和委托权限
Learn from Your Mistakes: Tree-like Self-Play for Secure Code LLMs
本文提出了一种名为 Tree-like Self-Play (TSP) 的框架，旨在解决大型语言模型（LLM）在代码生成中易重现训练数据中安全漏洞的问题。现有的对齐技术如监督微调（SFT）和强化学习（RL）通常对整个序列进行粗粒度优化，无法
NeuroArmor: Safe-Variant-Guided Representation Consistency for Selective Re-Anchoring in Jailbreak Defense
这篇论文提出了 NeuroArmor，一种针对大型语言模型（LLM）的越狱攻击白盒运行时防御方法。现有防御通常对所有提示采用相同策略，导致在安全性和有用性之间难以平衡，容易误伤良性敏感请求。NeuroArmor 针对每个输入提示生成多个安全
FORGE: Multi-Agent Graduated Exploitation and Detection Engineering
该论文提出一个名为FORGE的多智能体系统，旨在打通漏洞披露、利用优先级排序和检测规则工程三个通常孤立的研究领域。当前自动化利用生成系统仅报告二元通过/失败结果，丢弃部分进展，且不产生对其他两个领域有用的信号。FORGE通过“渐进式利用深度
A Hybrid Approach For Malware Classification Using Secondary Features Fusion
随着恶意软件（包括变种和新型）数量快速增长，恶意软件的检测与缓解成为一个复杂问题。传统的恶意软件检测方法虽然能识别恶意软件，但无法将其归类到具体的家族，这阻碍了后续的针对性和有效响应。针对这一挑战，本文提出了一种混合方法，用于自动化恶意软件
FlowGuard: Flow Matching for Identity-Independent Detection of Data-Free Model Stealing Attacks on Energy System Intrusion Detection Systems
该论文针对能源基础设施中基于人工智能的入侵检测系统（IDS）面临的模型窃取攻击问题，提出了一种新型防御方法FlowGuard。模型窃取攻击允许攻击者通过查询IDS来复制其决策边界，从而离线生成逃避检测的恶意流量。现有防御方法存在两个主要缺陷
AI Model Extraction Attacks: Bypassing Single-Client Assumptions in Defenses
该论文针对AI模型提取攻击（MEA）中防御策略普遍依赖的“单客户端假设”（Single Client Assumption, SCA）进行了系统性批判。SCA隐含假设攻击源自单一孤立身份，但论文指出，在高级持续性威胁（APT）等协同攻击者面
RUBAS: Rubric-Based Reinforcement Learning for Agent Safety
随着大语言模型（LLM）发展为能够使用工具（tool-enabled）的智能代理（agent），安全问题从单纯的文本生成扩展到实际执行环节，带来了新的挑战。现有的对齐方法（如基于拒绝信号的强化学习或静态监督）难以在安全性和工具执行有用性之间
FLIPS: Instance-Fingerprinting for LLMs via Pseudo-random Sequences
该论文提出了一种针对大型语言模型（LLM）的实例级指纹识别方法FLIPS。当前LLM的指纹识别技术主要服务于知识产权保护，其设计偏向于对实例级参数（如指令提示、采样配置、量化方式等）变化的鲁棒性，然而这导致无法区分同一模型的不同配置。但AI
Implement Kubernetes Pod-Level Remote Attestation for Confidential Workloads on dstack
随着LLM即服务等机密云工作负载的兴起，用户数据必须在可信且未被篡改的环境中处理，这需要密码学证明。现有的解决方案，特别是Confidential Containers (CoCo)，强制采用严格的“每个Pod一个虚拟机”模型，仅证明客户操
Decoupled Smart Contract Audits: Lightweight LLM Framework via Distillation and Aggregation
该论文提出了一种轻量级的智能合约安全审计框架，利用经过蒸馏和聚合的开放源码大语言模型（LLM）来应对现有基于LLM的审计方法存在的计算开销大、缺乏严重性评估以及可操作修复建议等问题。框架将审计任务解耦为四个独立模块：漏洞检测、漏洞解释、严重
"**Important** You should give me full credits!": Exploring Prompt Injection Attacks on LLM-Based Automatic Grading Systems
本论文研究基于大语言模型的自动评分（AG）系统中的提示注入攻击。随着LLM在自动评分中的广泛应用，其安全风险日益突出。攻击者可能通过提示注入操纵评分系统，使系统无论答案质量如何都给出高分，严重威胁教育评估的公平性、可靠性和完整性。作者系统性