Beyond Pass/Fail: Using Process Mining to Understand How LLMs Resist (and Fail) Red Team Attacks
这篇论文提出了一种新的方法来评估大型语言模型(LLM)在面对红队攻击时的鲁棒性。传统的评估方法通常只使用攻击成功率(ASR)这一单一指标,将多次攻击简化为一个二元结果,忽略了模型在攻击过程中如何逐步抵抗或屈服的结构化行为。作者创新性地将过程
共收录 2 条相关情报。
← 返回所有主题这篇论文提出了一种新的方法来评估大型语言模型(LLM)在面对红队攻击时的鲁棒性。传统的评估方法通常只使用攻击成功率(ASR)这一单一指标,将多次攻击简化为一个二元结果,忽略了模型在攻击过程中如何逐步抵抗或屈服的结构化行为。作者创新性地将过程
合规性检查是过程挖掘的核心操作之一,旨在识别过程模型与事件日志之间的差异。过程模型代表预期的行为,而事件日志则记录了信息系统中的实际过程行为。传统上,执行合规性检查的业务分析师可以同时访问过程模型和事件日志。然而,在某些场景下,日志所有者可