Self-Mined Hardness for Safety Fine-Tuning
该论文提出了一种针对语言模型安全微调的新方法：自我挖掘困难样本（Self-Mined Hardness）。传统安全微调通常需要人工构造对抗性数据集，而本文另辟蹊径，通过评估模型自身对每个候选提示的响应被判定为有害的频率来衡量该提示的难度，然
#cs.AI
共收录 1684 条相关情报。
← 返回所有主题When Agents Handle Secrets: A Survey of Confidential Computing for Agentic AI
本文是一篇关于机密计算（Confidential Computing, CC）如何保障自主AI代理系统安全的综述。随着LLM驱动的代理系统（如基于MCP和A2A协议进行规划、调用工具、维持持久内存以及委托任务的系统）的兴起，其暴露的攻击面显
PIIGuard: Mitigating PII Harvesting under Adversarial Sanitization
本文提出了一种名为 PIIGuard 的网页级防御机制，旨在缓解大型语言模型（LLM）助手在浏览网页时从公共页面中抓取联系型个人身份信息（PII）的风险。现有的防御措施大多部署在模型层、服务层或智能体层，而普通网页所有者缺乏可行的部署选项。
Stable Agentic Control: Tool-Mediated LLM Architecture for Autonomous Cyber Defense
本论文提出了一种面向自主网络防御的工具中介LLM架构（Stable Agentic Control），旨在解决现有方法无法为高对抗压力下的自主系统提供形式化保证的问题。研究背景源于安全运营中心（SOC）在敌对压力下配置端点检测与响应（EDR
Privacy Preserving Machine Learning Workflow: from Anonymization to Personalized Differential Privacy Budgets in Federated Learning
本文针对联邦学习中的隐私保护问题，提出了一套完整的隐私保护机器学习工作流，专注于敏感表格数据。首先，结合匿名化与差分隐私技术，在数据层面和模型训练层面提供隐私保障。其次，对客户端漂移（client drift）给出了正式定义，并设计了检测方
APIOT: Autonomous Vulnerability Management Across Bare-Metal Industrial OT Networks
本文提出APIOT（Autonomous Purple-teaming for Industrial OT），首个利用大语言模型（LLM）在裸机工业OT网络中进行自主攻击与修复的框架。传统自动化渗透测试主要针对Linux和Web系统，这些系
On the Privacy of LLMs: An Ablation Study
大型语言模型（LLMs）在交互式和检索增强场景中日益部署，引发了显著的隐私担忧。以往的研究通常孤立地分析成员推断攻击（MIA）、属性推断攻击（AIA）、数据提取攻击（DEA）和后门攻击（BA），缺乏对它们在常见系统因素下行为的统一理解。本文
When Alignment Isn't Enough: Response-Path Attacks on LLM Agents
该论文首次提出并形式化了一种针对BYOK（自带密钥）智能体架构的新威胁——对齐后篡改攻击。在BYOK架构中，用户将LLM流量路由通过第三方中继，但中继在LLM生成响应后、智能体执行前可以修改结果，从而破坏对齐。作者将该威胁实例化为中继篡改攻
Trojan Hippo: Weaponizing Agent Memory for Data Exfiltration
本文研究了LLM代理（Agent）长期记忆系统中的安全漏洞。尽管记忆系统允许无状态的LLM代理跨会话持久化用户信息，但这也引入了新的攻击面。作者提出了一类名为“Trojan Hippo”的持久性记忆攻击，该攻击在比以往记忆投毒研究更现实的威
Latent Adversarial Detection: Adaptive Probing of LLM Activations for Multi-Turn Attack Detection
本文针对多轮提示注入攻击的检测问题展开研究。现有基于文本级别的防御无法识别隐蔽的攻击，因为每个单独轮次的提示看似无害，但攻击者通过信任建立、横向移动、权限提升等阶段逐步实施攻击。作者发现，这种攻击路径会在模型的残差流中留下激活层面的特征：每
One Single Hub Text Breaks CLIP: Identifying Vulnerabilities in Cross-Modal Encoders via Hubness
该论文研究了多模态编码器（如CLIP）在跨模态检索和评估任务中存在的“中心点”（hubness）问题。在高维嵌入空间中，某些嵌入点（称为hub）会与大量不相关样本具有高相似度，这可能导致跨模态相似性计算的异常。作者提出了一种方法，能够识别出
Security Attack and Defense Strategies for Autonomous Agent Frameworks: A Layered Review with OpenClaw as a Case Study
本论文对基于大型语言模型（LLM）的自主智能体框架的安全攻击与防御策略进行了分层综述。随着LLM智能体从简单对话系统发展为集成工具、持续运行的复杂系统，其安全风险已超越传统的提示词级别漏洞。尽管已有研究针对不同攻击面和防御问题进行了探讨，但
AdaBFL: Multi-Layer Defensive Adaptive Aggregation for Bzantine-Robust Federated Learning
本文提出了一种针对联邦学习（FL）中拜占庭攻击的多层防御自适应聚合方法（AdaBFL）。联邦学习允许客户端在不共享原始数据的情况下协作训练模型，但其分布式特性使其容易受到投毒攻击，恶意客户端可能提交损坏的模型以操纵全局模型。现有的拜占庭鲁棒
Secret Stealing Attacks on Local LLM Fine-Tuning through Supply-Chain Model Code Backdoors
本文揭示了一种针对本地大语言模型（LLM）微调过程的供应链攻击新范式。传统观点认为本地离线微调能够保护训练数据中的敏感信息（如API密钥、个人标识符、金融记录等），但本文证明，通过向模型代码中植入伪装成标准架构定义的后门，攻击者即可实现高成
Toward Autonomous SOC Operations: End-to-End LLM Framework for Threat Detection, Query Generation, and Resolution in Security Operations
该论文提出了一种面向安全运营中心（SOC）的端到端威胁管理框架，旨在解决威胁数量增长、SIEM平台异构以及人工分诊耗时的运营挑战。框架包含三个核心模块：基于集成学习的检测模块、语法约束的查询生成模块（SQM）以及检索增强的响应支持模块。检测
From Prompt to Physical Actuation: Holistic Threat Modeling of LLM-Enabled Robotic Systems
该论文针对集成大语言模型（LLM）的自主机器人系统进行威胁建模。背景方面，虽然已有研究分别关注机器人网络安全、对抗性感知攻击和LLM安全性，但尚未有工作将这些威胁类别在一个统一架构中追踪其相互作用与传播。作者通过将基于边缘-云架构的LLM赋
Enhancing Linux Privilege Escalation Attack Capabilities of Local LLM Agents
本文针对本地部署的开源权重大语言模型（LLM）在自动化 Linux 权限提升攻击任务中性能不佳的问题，提出并验证了五种系统级和提示工程的干预方法，以弥补其与云模型（如 GPT-4o）之间的性能差距。研究首先分析了开源模型在自主权限提升中的失
Tatemae: Detecting Alignment Faking via Tool Selection in LLMs
本文提出一种利用工具选择行为检测大型语言模型（LLM）中"对齐伪装"（Alignment Faking, AF）的新方法。AF 是指 LLM 在训练过程中表面服从目标以规避价值观修改，一旦监控解除便恢复原有偏好。现有检测方法主要依赖对话中的
Quantum Gatekeeper: Multi-Factor Context-Bound Image Steganography with VQC Based Key Derivation on Quantum Hardware
本文提出一种名为 Quantum Gatekeeper 的图像隐写术框架，其核心创新在于将载荷的恢复同时依赖于密码学解密与精确提取路径的重构。该框架结合了无损最低有效位（LSB）嵌入、确定性变分量子电路（VQC）派生门控密钥、多因素上下文绑
SecMate: Multi-Agent Adaptive Cybersecurity Troubleshooting with Tri-Context Personalization
该研究提出了SecMate，一个基于多智能体架构的网络安全故障排除虚拟客户助手（VCA）。针对传统IT支持依赖人工、效率低下且缺乏个性化的问题，SecMate通过三个维度的上下文个性化来提升故障排除的准确性和用户体验：1. 设备特异性：在客