#cognitive-heuristics

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Asif Shahriar, Hongyu Cai, Hadjer Benkraouda, Gang Wang, Z. Berkay Celik

该论文首次系统性地探索了大型语言模型(LLM)在代码漏洞检测中受到认知启发(cognitive heuristics)影响的现象。作者设计了一个可控框架,保持代码本身不变,仅改变周围上下文来触发三种认知启发:晕轮效应(通过作者归属)、框架效应(通过任务目标和后果)和锚定效应(通过先前的分析结果)。在三种编程语言(可能包括C、Java、Python等)上评估了8个LLM(如GPT-4、LLaMA等),进行了定量和代码级分析。结果表明,所有模型均易受这些启发影响,其中框架效应的平均影响最高达33.2%,锚定效应23.5%,晕轮效应18.4%。代码级分析显示,需要语义推理才能检测的漏洞(如逻辑错误)比通过模式匹配可识别的漏洞(如语法错误)更容易受认知启发影响。此外,模型常常根据认知条件将代码从安全误判为脆弱,而并未准确识别实际漏洞。为了展示实际影响,作者演示了一种概念验证的黑盒认知攻击,能够抑制之前检测到的多达97%的漏洞。这些发现表明认知易感性是LLM漏洞检测中一致且可利用的属性。该研究对依赖LLM进行安全审计的开发者、安全分析师和AI安全研究者具有重要警示意义。

💡 推荐理由: 揭示了LLM在漏洞检测中可能因上下文信息(如作者、任务描述、先前结果)产生系统性误判,攻击者可利用这种认知漏洞逃避检测,对AI驱动的安全工具可靠性构成威胁。

🎯 建议动作: 研究跟进:评估内部LLM安全工具对此类认知攻击的鲁棒性,探索上下文净化或输入去偏等缓解措施。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)