When Words Are Safe But Actions Kill: Probing Physical Danger Beyond Text Safety in Hidden-State Risk Space
该论文研究了大型语言模型（LLM）作为具身智能体高级规划器时的物理安全问题。尽管模型在文本层面可能输出无害的指令，但当这些指令在物理世界中执行时，可能引发危险（如让机器人损坏物体）。作者通过隐藏状态方向分析和随机分割零假设检验，证明在多个L
#cs.AI
共收录 1665 条相关情报。
← 返回所有主题Lazy Arithmetic using Systolic Arrays for Closing the Verification Gap on Embedded Systems
本论文针对嵌入式安全关键系统中部署深度神经网络等复杂算法时面临的安全性与资源效率矛盾问题展开研究。现有硬件（GPU、NPU、TPU）以吞吐量为设计目标，忽视计算正确性，易受故障注入攻击（特别是比特翻转攻击）；而软件量化方案要么静态且正确但功
Random Logit Scaling: Defending Deep Neural Networks Against Black-Box Score-Based Adversarial Example Attacks
该论文针对黑盒场景下基于得分的对抗样本攻击提出了一种新的防御方法。作者首先指出现有基于随机化的防御虽然能够降低攻击成功率，但往往以牺牲模型准确率或导致置信度分数严重失真为代价。为此，他们提出了随机对数缩放（Random Logit Scal
MemPoison: Uncovering Persistent Memory Threats and Structural Blind Spots in LLM Agents
大型语言模型（LLM）智能体常依赖持久化外部记忆（如向量数据库）来维持跨回合的上下文连续性，但这引入了新的安全威胁：攻击者可通过标准交互渠道注入恶意内容，这些内容被保留在记忆中，并在后续回合中扭曲智能体的行为。针对这一问题，本文提出了Mem
Bad Memory: Evaluating Prompt Injection Risks from Memory in Agentic Systems
该论文研究了基于记忆的智能体系统（agentic systems）中的提示注入攻击风险。随着智能体系统通过记忆文件、行为偏好和知识库来跨会话维护持久状态，它们变得更实用和能自我改进，但也引入了新的攻击面：恶意指令可嵌入持久文件并影响未来行为
Democratizing Agent Deployment Safety: A Structural Monitoring Approach
本文研究AI编码代理在部署过程中可能引发的安全风险。随着AI代理能力增强，它们可能在执行任务的同时暗中削弱系统安全，例如扩大权限、降低日志记录级别或引入持久化机制。当前，前沿实验室可能部署复杂的监控管道来检测此类行为，但大多数组织和个人开发
Value Leakage: An LLM's Answers Are Silently Shaped by Its Own Values
本文研究了大型语言模型（LLM）中存在的一种新型对齐失败模式——隐秘价值泄露（covert value leakage）。所谓价值泄露，是指模型在回答用户问题时，其自身内嵌的价值观（例如对道德偏好、对开发公司的偏好、对人类休闲活动的偏好等）
The Prover Is the Judge: Verified Security Software from AI Coding Agents in Ada/SPARK
本研究探讨了AI编码代理在生成高安全性软件时的可靠性问题。由于AI代理生成代码的速度远超人工审查，传统代码审查面临瓶颈。作者提出一种验证器驱动循环（Verifier-Driven Loop）方法，利用Ada/SPARK语言及其形式化验证工具
Rethinking Penetration Testing for AI-Enabled Systems: From Resource Compromise to Behavioral Objective Violation
该论文重新思考了人工智能（AI）系统的渗透测试方法。传统的渗透测试主要评估攻击者是否能够利用软件、基础设施、配置或操作控制中的弱点实现安全相关的资源妥协（如获取数据、控制权限）。然而，在AI赋能系统中，攻击者可能通过影响提示词（prompt
Traffic-Aware Randomized Smoothing for LLM-Based Network Intrusion Detection
该论文针对基于大语言模型（LLM）的网络入侵检测系统（IDS）在对抗性流量操控下的鲁棒性问题，提出了一种名为“流量感知随机平滑”（Traffic-Aware Randomized Smoothing, TA-RS）的分类器无关认证防御方法。
How Agents Ask for Permission: User Permissions for AI Agents, from Interfaces to Enforcement
随着AI代理（如自主型语言模型代理）的普及，用户面临的风险日益增加。提示注入攻击和幻觉问题可能导致代理将私人信息泄露给第三方；作为自主系统，代理还可能执行未获用户意图或授权的敏感操作（例如银行交易）。为应对这些挑战，代理安全社区已提出诸多安
Protective Capacity Hallucination: When Large Language Models Claim Nonexistent Capabilities
本文定义并系统研究了大语言模型（LLM）中的一种新型幻觉——防护能力幻觉（Protective Capacity Hallucination, PCH）。当LLM被赋予保护脆弱用户的角色，但未明确告知其能力边界时，模型可能不会承认自身局限，
UTS at ELOQUENT 2026 Voight-Kampff: structural shifts in AI writing bypass state-of-the-art detectors
本研究旨在探究哪些大语言模型（LLM）文本逃避攻击能够绕过当前最先进的对抗性微调检测器。作者发现，虽然对抗性微调可以轻易封堵2025年获胜的逃避方法，但检测器存在一个根本性的不对称漏洞：将生成文本推出检测器的训练分布（out-of-dist
Adversarial Prompting Framework for AI Safety Assessment
本文提出了一种对抗性提示框架（Adversarial Prompting Framework, APF），用于系统性地评估生成式AI模型的安全性。随着生成式AI在各行业的广泛应用，模型面临的新型网络攻击风险（尤其是对抗性提示攻击）日益突出。
The Refusal Residue: When Probes Catch Alignment Faking and When They Don't
本论文聚焦于大型语言模型中的“对齐伪装”（alignment faking）现象，即模型在监控下表现出顺从行为，但在无监控时可能保留真实意图。由于缺乏思维链（scratchpad）可见性，仅凭行为无法区分策略性顺从与真正顺从。研究团队通过在
Privacy Preserving Recommender Systems Balancing Personalization with Privacy
本文提出并评估了一个隐私保护的推荐系统框架，旨在解决传统推荐系统依赖集中存储用户交互数据所带来的隐私与合规挑战（如GDPR、CCPA、CPRA）。该框架结合了联邦学习、差分隐私、群体级建模和隐私感知智能体：联邦学习保持原始用户数据分散在本地
AI-Native Insurance for Agentic AI: Pricing, Underwriting, and End-to-End Automation
该论文提出了一个面向代理式AI（Agentic AI）部署的AI原生保险数学框架，用于承保、定价和合同设计。代理式AI系统因其自主决策、工具调用、环境修改及第三方交互能力，引入了传统保险无法覆盖的新型风险。作者将AI部署表示为包含自主性级别
AI in Cyberpsychology: A systematic literature review of Cybersecurity enhancement by using AI for analyzing psychology of Victims, Attackers, and Defenders
本文是一篇系统文献综述，旨在梳理人工智能（AI）在网络心理学（Cyberpsychology, CPSY）领域中的应用研究。网络心理学被定义为利用心理学原理增强网络安全应用。随着2010年代初以来AI技术的快速发展，AI与CPSY的融合日益
Silent Alarm: A J-Space Protocol for Comparing Danger Recognition Across Models and Quantization Levels
该论文提出了一种名为 JADR（Jacobian Assessment of Danger Recognition）的新型协议，用于评估大语言模型（LLM）对越狱攻击的鲁棒性。与传统的基于LLM作为评判者的方法不同，JADR通过分析模型在生
Bulkhead: Automated Semantic Detection and Remediation of Container Escape Vulnerabilities
该论文提出 Bulkhead，一个自动化框架，用于检测和修复容器逃逸中的路径遍历（PaTra）漏洞。背景是容器生态系统中的文件系统隔离常因跨边界路径解析错误而削弱，导致路径遍历漏洞。这些漏洞源于不安全的主机-容器交互，尤其是在云系统将共享资