Inherited Circuits, Learned Semantics: How Fine-Tuning Creates Evasion Vulnerabilities Invisible to Standard Evaluation
该论文研究了LLM在安全分类任务中的微调如何引入标准评估无法检测的规避漏洞。作者使用Foundation-Sec-8B-Instruct及其基座模型Llama-3.1-8B-Instruct,在PowerShell分类任务上进行实验。通过因
今日共收录 1218 条安全情报,包含 478 个 CVE,392 篇安全通告,以及 115 篇研究论文。
← 返回归档列表该论文研究了LLM在安全分类任务中的微调如何引入标准评估无法检测的规避漏洞。作者使用Foundation-Sec-8B-Instruct及其基座模型Llama-3.1-8B-Instruct,在PowerShell分类任务上进行实验。通过因
本文提出了一种针对基于大语言模型(LLM)的智能体系统中模型上下文协议(MCP)的新型多工具阈值投毒攻击框架——ShareLock。MCP作为连接LLM与外部工具的开放协议,已成为现代智能体生态的基础,但其安全性面临工具投毒攻击(TPA)的
本研究关注非专业恶意行为者(即“普通用户”)利用现有的LLM越狱技术发动攻击的可能性。作者提出了一种基于多臂老虎机(multi-armed bandit)框架的新型攻击策略,该策略能够在少量查询样本上通过噪声探索在线学习最优的越狱方法,随后
该论文针对LLM编程代理的安全治理问题展开研究。当前LLM编码工具(如GitHub Copilot、Cursor等)赋予代理广泛的文件系统和shell访问权限,但其配置层(如规则文件、代理定义、IDE特定markdown)缺乏有效的管理和安
本文提出了一种自动形式化流程,将智能体指令(agent prompts)、MCP工具描述以及自然语言策略文档转化为形式化验证的策略,利用基于LLM的生成器-批评者循环(generator-critic loop)。生成的策略使用Cedar策
本文提出 TerraProbe,一个五层预言机框架,用于评估大语言模型(LLM)辅助的 Terraform 基础设施即代码(IaC)安全修复效果。现有评估通常仅以目标静态分析告警消失作为修复成功标准,忽略了规划有效性、行为变化和修复意图。T
本文提出 VIGIL,一个针对 AI 代理系统的端到端运行时行为规范强制执行框架。随着代理系统越来越多地通过第三方技能(skills)执行模型生成的决策,这些操作可能影响文件、通信渠道和网络物理设备。技能通常附带自然语言规范,定义访问权限、
这篇论文聚焦于LLM代理(tool-using LLM agents)面临的间接提示注入攻击问题。近期(2024-2026年)研究趋向于采用“带外防御”策略:不训练模型拒绝恶意指令,而是在模型外部通过确定性策略(如强制访问控制、信息流标签、
本文针对大型语言模型(LLM)在交互应用中的安全性问题,提出了一种基于验证的防御框架。现有防御通常仅分析用户提示(prompt)或生成输出(response),但许多攻击利用提示中的恶意意图与响应中的实际危害相分离的特点,使得单侧防御容易失
本文研究在抽象文本摘要任务中,针对大型语言模型(LLM)微调阶段的训练时数据投毒攻击及防御。攻击者通过在微调数据中注入恶意样本,诱导模型生成偏向性或有害摘要,同时保持标准评估指标(如ROUGE)正常。作者提出一套统一的防御框架,包含检测和修
本文提出了一种名为 SafeVec 的白盒评估方法,用于衡量大型语言模型(LLM)的安全性。传统的安全评估通常依赖对不安全或越狱提示(jailbreak prompts)的输出进行判断,但这存在成本高、对评判模型敏感、且容易受固定问题库限制
本文针对社交网络上虚假新闻(包括错误信息和虚假信息)日益严重的问题,聚焦自动事实核查系统在部署中可能引入的新风险。随着人工智能和大语言模型被广泛应用于自动事实核查,系统本身可能产生错误判断,并在社交媒体上公布错误结果,从而导致虚假信息的进一
本文提出了 CrypFormBench(CFB),一个用于评估大型语言模型(LLM)在密码学方案形式分析能力的综合基准。手动进行密码学方案的形式分析需要大量专业知识和劳动力。现有模型检查工具(如 Scyther、Tamarin)和计算安全工
本文针对黑盒大语言模型(LLM)的蒸馏攻击防御问题展开研究。蒸馏攻击指攻击者通过查询API接口获取教师模型输出,并训练学生模型来复制其能力。近期研究提出输出扰动防御方法,通过修改教师模型输出降低学生模型性能,同时保持对合法用户的可用性。然而
本文提出了HelpBench,一个用于评估大型语言模型(LLM)在数字隐私、安全和安全建议方面提供准确帮助能力的基准测试。研究团队从真实用户场景中精选了450个问题,涵盖账户恢复、双因素认证权衡、可疑邮件识别、设备追踪等典型情境。针对每个问
本文提出 PowerFuzz,一种基于功耗侧信道测量的统计黑盒固件模糊测试框架。其核心动机是:许多嵌入式系统的固件或二进制文件不公开,导致无法使用依赖执行反馈(如分支覆盖率)的灰盒模糊器。PowerFuzz 无需目标固件的任何内部可见性,仅
本文首次对当前最常用的用于 offensive security 操作的 agentic 系统进行了深入的安全分析。研究表明,大多数此类工具存在共同的设计缺陷,使得活跃攻击者能够窃取 API 密钥、建立持久化立足点,并完全控制操作者的机器,
本文提出 AutoSpec 框架,针对大语言模型(LLM)智能体在自动化复杂任务时面临的安全规则设计困境:手工规则过于保守(高误报)或过于宽松(漏报),而神经分类器缺乏可解释性。AutoSpec 基于归纳逻辑编程(ILP)的计数器示例引导归
该论文对俄语网络犯罪论坛 exploit.in(同时存在于明网和暗网)上的 Crypter-as-a-Service(CraaS)生态系统进行了纵向分析。CraaS 是现代恶意软件经济的关键赋能层,通过地下服务市场提供按需规避能力。研究人员
随着半导体制造和先进封装中硬件安全威胁的加剧,需要新的物理机制来抵御篡改、伪造和供应链渗透等复杂攻击。本文提出将纳米机电系统(NEMS)作为一种新兴的硬件安全原语,在器件层面实现物理保证、篡改检测和认证。利用基于NEMS的物理不可克隆函数(