Privacy Vulnerabilities of Attention Layers in Tabular Foundation Models and Protection of High-Risk Queries
本文研究了表格基础模型（tabular foundation models）中注意力机制的隐私漏洞。尽管这些模型通常在合成数据上预训练，被认为隐私风险较低，但它们采用上下文学习（in-context learning），在推理时可能直接包含
#cs.AI
共收录 1670 条相关情报。
← 返回所有主题Color Matters: Trigger Color Affects Success in Federated Backdoor Attacks
本文研究联邦学习中的语义驱动后门攻击机制，重点探讨触发器颜色对攻击成功率的影响。联邦学习易受到后门攻击，恶意客户端注入中毒更新同时保持良性任务性能。现有研究多关注触发器形状、位置等，而本文系统性地分析了触发器颜色这一因素。攻击者使用自然视觉
Taxonomy of Risks on Automated Fact-Checking Systems Considering its Propagation
本文针对自动事实核查系统（Automated Fact-Checking Systems）在社交媒体上用于识别虚假新闻时可能引发的风险进行系统性分类研究。近年来，社交媒体上虚假信息（disinformation）和错误信息（misinfor
TL++: Accuracy and Privacy Preserving Traversal Learning for Distributed Intelligent Systems
本文提出了一种名为 TL++ 的双模式遍历学习框架，旨在解决分布式智能系统在数据孤岛下训练时的准确性与隐私保护问题。传统的联邦学习虽然保持数据本地化，但在异构分区下性能下降且需要反复交换完整模型；拆分学习通过切割层激活值减少通信，但通常无法
Probabilistic Agents in Deterministic Audits: Evaluating Multi-Agent Systems for Automated Audits Based on the German IT-Grundschutz
本文针对NIS-2指令下中小企业面临的风险管理合规压力，聚焦德国联邦信息安全办公室（BSI）制定的IT-Grundschutz（IT-GS）认证自动化问题。IT-GS认证依赖大量人工文档、验证与修订，成本高且难以规模化。作者在前期概念框架基
An Approach for a Supporting Multi-LLM System for Automated Certification Based on the German IT-Grundschutz
本文提出了一种新颖的方法，利用多大型语言模型系统（MLS）与混合检索增强生成（HybridRAG）技术，实现BSI IT-Grundschutz认证的半自动化。研究背景是欧盟NIS2指令的出台导致更多企业需要获得信息安全认证，但专业认证人员
Decoupling Reconnaissance and Exploitation: Measuring the Capability Boundaries of LLM-Based Web Penetration Testing
该论文针对大语言模型（LLM）在自动化渗透测试评估中存在的错误级联问题，提出了一种两阶段解耦评估框架。现有端到端黑盒评测因早期侦察失败会掩盖代理的实际漏洞利用能力，导致评估结果无法准确反映模型真实水平。作者通过真实漏洞上下文注入（groun
SoK: AI Secure Code Generation: Progress, Pitfalls, and Paths Forward
本文是一篇关于人工智能安全代码生成（AI Secure Code Generation）的系统化知识综述（SoK）。随着AI系统越来越多地用于代码生成，如何确保其生成代码的安全性成为核心问题。现有研究尝试了提示工程、微调、强化学习以及基于a
What Does It Mean to Break a Distillation Defense?
本文针对黑盒大语言模型（LLM）的蒸馏攻击防御问题展开研究。蒸馏攻击指攻击者通过查询API接口获取教师模型输出，并训练学生模型来复制其能力。近期研究提出输出扰动防御方法，通过修改教师模型输出降低学生模型性能，同时保持对合法用户的可用性。然而
Red-Teaming the Agentic Red-Team
本文首次对当前最常用的用于 offensive security 操作的 agentic 系统进行了深入的安全分析。研究表明，大多数此类工具存在共同的设计缺陷，使得活跃攻击者能够窃取 API 密钥、建立持久化立足点，并完全控制操作者的机器，
AutoSpec: Safety Rule Evolution for LLM Agents via Inductive Logic Programming
本文提出 AutoSpec 框架，针对大语言模型（LLM）智能体在自动化复杂任务时面临的安全规则设计困境：手工规则过于保守（高误报）或过于宽松（漏报），而神经分类器缺乏可解释性。AutoSpec 基于归纳逻辑编程（ILP）的计数器示例引导归
PixJail: Self-Evolving Paper-to-Pipeline Reproduction for Text-to-Image Jailbreak Evaluation
本文针对文本到图像（T2I）生成模型越狱评估中存在的复现性和可比性问题，提出了一种自演进论文到管线智能体框架PixJail。当前T2I越狱技术发展迅速，但现有基准和复现工作流难以同步更新；更重要的是，T2I越狱评估并非单次提示级测试，而是一
Maestro Order: A Model-Agnostic Orchestration Harness
该论文提出了 Maestro Order，一个模型无关的编排框架，旨在将不可靠的单一模型（如大型语言模型）转化为可靠的问题解决系统。核心思路是通过四种结构原语（分解、集成、验证和递归）组合基础模型，并引入预算感知控制器，动态决定在何处分配计
Are Safety Guarantees in Neural Networks Safe? How to Compute Trustworthy Robustness Certifications
该论文聚焦于神经网络鲁棒性认证的可信计算问题。鲁棒性认证旨在为给定输入确定最大扰动范围（轴对齐超矩形），使模型在该范围内预测不变。现有方法追求体积最优认证，但近期的难解性结果证明，在合理时间内计算体积最优认证不可行。为此，作者引入新度量“a
Cryptographic certificates of validity for trustworthy AI
该论文针对当前AI智能体系统在可信执行与合规验证方面的挑战，提出了一种基于密码学有效性证书的新颖方案。核心思想是：首先将智能体应满足的正确性或策略条件形式化为逻辑谓词；然后将该谓词编译为多项式约束上的证人（witness）检查问题；最后利用
Detecting Malicious Agent Skills in the Wild using Attention
本文针对LLM智能体在加载第三方技能（skill）时面临的安全威胁展开研究。技能是以自然语言指令编写的文件包，由第三方开发者编写并通过市场分发，执行时拥有用户特权。恶意技能可窃取数据、劫持智能体或在供应链中持久化，使技能市场成为新的攻击面。
Exposing the Illusion of Erasure in Knowledge Editing for LLMs
本文研究了大型语言模型（LLM）中知识编辑（Knowledge Editing, KE）方法的可靠性与潜在安全漏洞。KE 旨在无需昂贵重训练即可更新模型中的特定事实，但最新研究发现其效果存在严重局限性。作者从对抗性诱发（adversaria
Safety in Self-Evolving LLM Agent Systems: Threats, Amplification, and Case Studies
本文系统性地研究了自进化LLM智能体系统（即能够自主更新其模型参数、记忆、工具和架构的智能体）带来的新型安全与隐私威胁。作者首先提出模块-生命周期攻击面（MLAS）矩阵，将攻击面分解为五个功能模块（大脑、认知资源、执行、自我设计、集体）和五
Attacking the Trusted Imagination: Oracle-Level Integrity Attacks on Imagine-then-Act World Models
本研究聚焦于视觉-语言-动作（VLA）策略中一种新型攻击面：世界-动作模型（WAM）的“可信想象”。许多现代VLA策略采用“先想象后行动”的设计：WAM首先生成一个短期未来潜在轨迹z~，然后动作基于该轨迹进行条件化。作者识别出该想象过程存在
CLIP-guided Diffusion Model for Backdoor Generation in Sensor-based Human Activity Recognition
传感器是现代智能设备的关键组件。随着物联网和可穿戴移动设备的普及，传感器被广泛用于环境监测和预测行动。人体活动识别（HAR）是其中一个重要应用，它利用惯性测量单元（IMU）传感器（如加速度计和陀螺仪）来提供健康、训练和医疗诊断方面的洞见。然