Governed Caste Reassignment in Heterogeneous Swarms: An Asymmetric-Trust Protocol with Audited Operator Countersignature
该论文针对异构机器人集群中的“种姓重新分配”（caste reassignment）问题，提出了一种非对称信任协议。在机器人集群中，机器人会因电池、载荷或优先级变化而频繁调整其角色（即种姓），但现有方法仅将其视为内部调度算法，缺乏外部权威机
#LLM
共收录 2152 条相关情报。
← 返回所有主题Governed Individuation: Cryptographically Decoupling an Agent's Learning from Its Authority
本文提出了一种名为“受控个体化”（Governed Individuation）的架构，旨在解决自主代理在部署后学习过程中可能超出其操作者授权范围的安全问题。传统对齐技术仅能在概率上保证代理行为符合预期，而本文通过密码学方法将代理的学习过程
Evaluating calibrated refusal and safe usefulness in dual-use biology settings
该论文针对AI智能体在生命科学工作流中可能带来的双重用途风险，提出了一个用于评估模型安全拒绝行为的基准测试——BioSecBench-Refusal。基准包含61个日常任务（来自已发表文献的合法分析）和46个红队任务（虚构但模拟真实研究场景
Knowledge Base Poisoning Attacks and Defense for Policy-Aware LLM-RAG Framework
本文针对面向战场物联网（IoBT）任务控制的策略感知大语言模型检索增强生成（PA-LLM-RAG）框架，首次系统研究了知识库投毒攻击及其防御。作者提出了一种新颖的“查询无关语义检索投毒”（Query-Agnostic Semantic Re
Advanced Topic Modeling Techniques for Categorizing Software Vulnerabilities
随着软件漏洞的日益复杂和频繁，传统的分析方法在处理大量非结构化文本数据时往往效率低下，迫切需要更先进的解决方案。本研究利用基于大型语言模型（LLM）的最先进主题建模技术，从软件漏洞数据集的'Threat'特征中提取有价值的见解。研究中采用了
DualView: Preventing Indirect Prompt Injection in Personal AI Agents
本研究针对个人AI代理（如OpenClaw）面临的间接提示注入（IPI）攻击，特别是存储型IPI攻击，提出了一种名为DualView的新型防御机制。现有基于双LLM的防御（如Dual LLM）仅在代理的上下文中追踪不可信数据，将其替换为符号
SABLE: An NDA-Safe Closed-Loop LLM Framework for Analog Circuit Optimization in Industrial EDA Flows
该论文提出SABLE（Safe Analog Boundary for LLM-driven EDA），一个在工业模拟集成电路设计流程中安全使用大语言模型（LLM）进行电路优化的无保密协议（NDA）安全闭环框架。工业模拟EDA流程涉及代工厂
PathMark: Protecting Intellectual Property of Mixture-of-Expert LLMs via Path Watermarks
本文关注于混合专家（MoE）大型语言模型的知识产权保护问题。现有的水印方案主要针对密集模型设计，假设水印参数被持续激活，但MoE的动态路由机制打破了这一假设，导致传统水印无法直接应用。此外，MoE模型存在两个关键脆弱性：脆弱的决策边界和路由
AutoCedar: An Agentic Framework for Verifier-Guided Access Control Policy Synthesis
该论文提出了AutoCedar，一个基于智能体（agent）的框架，旨在解决从自然语言需求自动生成访问控制策略时存在的安全隐患。传统上，大语言模型将自然语言需求转化为代码，但在访问控制中，生成的策略可能编译通过且看起来正确，却授予了未经批准
Swarm-Driven Multi-Agent Reasoning for Smart City Security
该论文聚焦于智慧城市安全中的推理挑战。智慧城市作为异构设备互联的网络物理生态系统，面临协同攻击威胁，这类攻击通常表现为弱且分布式的指标（如低速率扫描、异常凭据使用、协议误用或延迟横向移动），每个信号单独低于局部告警阈值，因此安全检测不仅是异
How to Avoid Debate: Scalable AI Safety via Doubly-Efficient Interactive Proofs
该论文针对AI安全验证问题，提出了一种避免辩论（debate）的替代方案。传统辩论方法依赖两个能力对等的AI模型相互辩论以说服人类验证者，但这一假设在实践中可能不成立（如模型能力不均或双方均不诚实）。论文首次研究了面向AI安全场景的“单证明
Securing Multi-Tool AI Agent Chains With Dynamic, Real-Time Compositional Policies
现代AI代理（如前沿编码代理）在运行时会将多个工具串联起来，形成一条工具链。这种链式调用产生了单工具护栏无法解决的安全问题：即使每个工具单独使用时都是安全的，但组合起来可能违反组织的安全策略。针对这一挑战，本文提出了动态安全控制组合器（DS
LLM-Enhanced Hierarchical Heterogeneous Graph Representation Learning for Malicious Python Package Detection
恶意Python包已成为开源软件供应链生态系统（如PyPI）的主要安全威胁。现有基于学习的检测方法难以捕获不同程序实体之间的层次组织结构和异构交互。大型语言模型（LLM）在代码理解和语义推理方面表现出强大能力，但很少与结构化程序表示相结合用
Agentic and Generative AI for Open-Source Intelligence and Cyber Investigations: Taxonomy, Evaluation, Challenges, and Future Directions
该论文是一篇关于将代理式人工智能（Agentic AI）和生成式人工智能（Generative AI）应用于开源情报（OSINT）和网络调查的综合性综述。随着公开数字信息的爆炸式增长，传统的人工OSINT分析已无法满足现代情报和网络安全的需
CONTRA: Red-Teaming Configurations of Personalizable Agents
近期开发的工具（如 OpenClaw）将基于 LLM 的智能体从简单的对话系统扩展为完全自主的智能体，允许用户通过修改内部文件和安装技能进行个性化配置。这种能力虽然提升了自动化的灵活性和任务多样性，但也带来了风险：恶意动作可能在不经明确指令
Builder, Defender, Breaker: The Case Against Removing the Human from the AI-Driven Security Lifecycle
该论文聚焦于人工智能在安全生命周期中日益增强的自动化趋势，指出当前同一类生成式AI模型被用于编写代码、强化代码以及探测代码漏洞，使得构建者、防御者和攻击者三个角色逐渐融合。作者认为，这种将完全自动化视为目标的主流观点存在根本性缺陷。当构建、
Steerability via constraints: a substrate for scalable oversight of coding agents
该论文聚焦于编码代理（coding agents）的安全监督问题。随着LLM驱动的编码代理能力日益增强，人类审查成为瓶颈，无约束的代理会引入安全风险（如后门注入）、破坏代码库的可扩展性，并使人工代码审查成本急剧上升。作者提出一个核心论点：管
Cloak and Detonate: Scanner Evasion and Dynamic Detection of Agent Skill Malware
该论文针对LLM编码代理（coding agent）中第三方技能（skill）带来的软件供应链攻击面展开研究。代理技能从公共市场获取，并拥有与代理相同的权限，恶意技能可能窃取凭证、泄露源代码或安装后门。现有防御主要采用基于模式匹配或LLM作
HaloGuard 1.0: An Open Weights Constitutional Classifier for Multilingual AI Safety
本文提出了HaloGuard 1.0，一个开放权重的宪法分类器（constitutional classifier），用于大语言模型输入安全检测，特别针对多语言提示（prompt）的安全性。研究背景是现有开源安全模型通常体积庞大，在多语言场
kNNGuard: Turning LLM Hidden Activations into a Training-Free Configurable Guardrail
大型语言模型（LLM）在部署时通常需要护栏（guardrails）来检测不安全、离题或对抗性提示。现有护栏大多依赖微调构建分类器，泛化能力差且推理延迟高。本文提出kNNGuard，一种无需训练的护栏，利用现成LLM的激活空间。它仅需50个安