SoK: AI Secure Code Generation: Progress, Pitfalls, and Paths Forward
本文是一篇关于人工智能安全代码生成（AI Secure Code Generation）的系统化知识综述（SoK）。随着AI系统越来越多地用于代码生成，如何确保其生成代码的安全性成为核心问题。现有研究尝试了提示工程、微调、强化学习以及基于a
#ai-security
共收录 102 条相关情报。
← 返回所有主题Investigating The Security of Modern AI and Cloud Infrastructure
该论文系统性地挑战了现代AI与云基础设施中普遍存在的隔离假设。作者通过构建一个从物理内存共置到远程服务接口的交互级别分类法，来解构AI安全假设。尽管已有大量研究关注孤立的攻击面，但安全社区缺乏一个统一的框架来理解物理、架构和算法漏洞如何在整
Safety, Security, and Cognitive Risks in Neuro-Symbolic AI
该论文对神经符号AI（NeSy）的安全、安保与认知风险进行了系统性研究。神经符号AI融合了神经感知与符号推理，适用于需要可解释性和结构化推理的高风险领域（如医疗诊断、自动驾驶）。然而，这种混合架构引入了扩大的攻击面，涵盖五个层次：神经感知层
AIChilles: Automatically Uncovering Hidden Weaknesses in AI-Evolved Systems
该论文关注AI驱动系统进化中隐藏的弱点问题。近年来，计算机系统社区对AI驱动的系统进化兴趣日益增长，即利用AI智能体迭代地重写系统代码。例如AdaEvolve和Engram等框架声称相比于人工设计算法可获得12-60%的分数提升。然而，这些
T2S: A Rehearsal-Based Approach for Extraction-Resistant Model Watermarking
本文针对人工智能模型水印（model watermarking）面临的核心挑战——模型提取攻击（model extraction attack），提出了一种基于排练（rehearsal）的水印嵌入框架，以增强水印鲁棒性。模型水印通过嵌入独特
Dummy Backdoor as a Defense: Removing Unknown Backdoors via Shared Internal Mechanisms for Generative LLMs
该论文针对大型语言模型（LLM）面临的后门攻击威胁，提出了一种基于共享内部机制的未知后门移除方法。后门攻击会使模型在干净输入下表现正常，但遇到特定触发器时输出攻击者指定的有害内容。由于防御者通常不了解后门类型或内部机制，移除未知后门极具挑战
When Discovery Outpaces Remediation: Modeling AI-Accelerated Vulnerability Discovery in Interconnected Systems
该论文研究AI加速漏洞发现对互联系统安全的影响，提出一个结合排队论与网络理论的模型。模型将企业环境表示为加权依赖图，包含漏洞池动态补充、有限修复容量、分类降级、利用窗口压缩以及动态传播机制。通过数学推导给出了漏洞积压的稳定性条件，并建立了积
Fingerprinting All AI Cluster I/O Without Mutually Trusted Processors
本文针对未来可能达成的国际人工智能协议，提出了一种用于AI数据中心验证的基础架构方法。核心目标是确保所有进出AI集群的数据均被加密承诺，使得秘密窃取未公开工作负载的结果变得不可行。方法是在集群与外部世界之间的所有信息承载线路上部署网络分接头
AI-Native Closed-Loop Security for 6G-Enabled Cyber-Physical Systems: From Edge Detection to Network-Wide Mitigation
本文是一篇关于6G赋能信息物理系统（CPS）安全的综述论文。6G网络将连接数十亿CPS设备（如自动驾驶汽车、智能电网、工业机器人和远程手术设备），这些设备运行在超可靠低延迟切片上，使得远程入侵与物理伤害之间的时间差缩短至毫秒级，传统边界防火
Bit-Exact AI Inference Verification Without Performance Tradeoffs
该论文研究了AI推理验证中的关键问题：在GPU浮点运算的非确定性环境下，如何实现比特精确的推理结果验证，而无需牺牲性能。现有方法依赖近似匹配，这可能被隐蔽对手利用未验证的自由度进行攻击，如通过隐写术、未报告的软件修改或隐藏的批处理元素执行恶
AdvScene: Rethinking Adversarial Patch Evaluation Through Scene Robustness
论文《AdvScene: Rethinking Adversarial Patch Evaluation Through Scene Robustness》重新审视了对抗补丁（adversarial patch）的评估方法。对抗补丁是附着在
Honeyval: A Comprehensive Evaluation Framework for LLM-powered HTTP Honeypots
该论文提出了 Honeyval，一个针对基于大型语言模型（LLM）的 HTTP 蜜罐的全面评估框架。蜜罐是一种模拟真实系统组件的诱饵，用于防御网络攻击。近年来，LLM 越来越多地被用作蜜罐的模拟后端，使防御者能够构建高交互蜜罐，同时降低系统
Referential Security as a New Paradigm for AI Evaluations
该论文提出“指涉安全性”（referential security）作为人工智能评估的新范式。当前AI系统（尤其是大语言模型）持续更新，但公开的模型名称保持不变，而底层权重、提示词、检索机制、滥用分类器、推理设置和服务基础设施却可能未经通知
Unlocking Apple's Private Cloud Compute: An Analysis of Privacy-Preserving Artificial Intelligence
该论文首次对苹果的私有云计算（Private Cloud Compute, PCC）系统进行了逆向工程分析，旨在评估其隐私保护声明的可信度。PCC是苹果为在移动设备上集成AI而设计的隐私优先计算架构，其核心宣称包括不存储用户数据、用户输入与
AI Security Research Should Better Incentivize Defense Research
本文系统性分析了人工智能安全研究领域中攻防研究失衡的问题。作者通过考察联邦学习、语音识别、成员推断、大型语言模型等子领域的学术论文，发现攻击类研究数量明显多于防御类研究，存在偏斜的攻防论文比例。更重要的是，这种失衡不仅体现在数量上：攻击论文
Measuring Security Without Fooling Ourselves: Why Benchmarking Agents Is Hard
本文聚焦于评估AI智能体在安全关键角色中的基准测试所面临的严重缺陷。作者基于最新实证证据，总结了三大核心挑战：基准漏洞（benchmark vulnerabilities）、时间陈旧性（temporal staleness）和运行时不确定性
TimeGuard: Channel-wise Pool Training for Backdoor Defense in Time Series Forecasting
时间序列预测（TSF）在众多领域（如金融、气候、工业监控）中发挥着关键作用，但容易受到后门攻击的威胁。然而，针对TSF的后门防御研究仍处于起步阶段，主要面临两大挑战：数据纠缠（data entanglement）导致不同时间序列通道间的信号
Integration of AI in Cybersecurity: Current Trends with a Focused Look at Intrusion Detection Applications
本文是一篇关于人工智能（AI）在网络安全领域应用的综述性研究，重点聚焦于入侵检测场景。文章首先指出，AI因其在模式识别、任务自动化以及降低时间与成本方面的能力，已被广泛应用于多个领域。在网络安全中，AI的整合引起了广泛关注，尤其是在入侵检测
STRIDE-AI: A Threat Modeling Framework for Generative AI Security Assessment
本文提出STRIDE-AI框架，旨在解决传统网络安全方法论在应对生成式AI系统概率性质时的不足。研究背景指出，现有安全标准（如NIST AI RMF）和漏洞分类（如OWASP LLM Top 10）之间存在鸿沟，且多数部署AI的组织缺乏专用
Watermarking Should Be Treated as a Monitoring Primitive
本文提出水印技术应被视为一种监控原语，而非仅用于内容归属。传统上，水印评估侧重于对抗单个样本级别的规避或误报攻击，忽略了在多方参与的场景中，水印信号可能被聚合以推断实体级别信息。作者引入基于观察者的威胁模型，其中观察者可以通过跨输出聚合水印