#human-ai-collaboration

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Ronal Singh, Shahroz Tariq, Fatemeh Jalalvand, Mohan Baruwal Chhetri, Surya Nepal, Cécile Paris, Martin Lochner

本文是一篇关于安全运营中心(SOC)中人类与AI协作的实证研究。研究背景是,随着大语言模型(LLM)在安全分析工具中的快速集成,理解人类分析师如何与这些AI系统实际协作变得至关重要。然而,目前缺乏针对真实SOC环境中人机交互模式的系统性、实证性探索。该研究通过设计并实施一项受控实验或实地研究,招募具备SOC工作经验的参与者,观察他们在模拟或真实的告警分析场景中与LLM辅助工具的交互行为。核心方法包括:收集参与者在分析过程中与AI的对话日志、决策记录、任务完成时间以及主观反馈问卷,并采用定量与定性相结合的分析手段,对比有/无LLM辅助时的分析效率、准确性和认知负担变化。主要贡献为:(1)首次系统性地刻画了SOC分析师在使用LLM时的协作模式,包括信任建立、信息验证、告警优先级判断等关键行为;(2)识别出LLM辅助带来的效率提升与潜在风险,例如过度依赖、提示注入攻击的暴露面增加等;(3)提出了改善人机协作界面设计和工作流集成的建议,以支持更安全的自动化决策;(4)为后续研究提供了可复用的实验范式和数据集。本文适合SOC管理人员、安全工具开发者以及人机交互(HCI)与AI安全交叉领域的研究人员阅读,能够帮助他们理解LLM在实际防御工作中的效用边界与安全含义。

💡 推荐理由: 该研究首次实证揭示SOC分析师与LLM协作的真实模式,为蓝队部署AI辅助工具提供了行为学依据,有助于识别过度自动化带来的安全盲区与提示注入等新风险。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Zion Leonahenahe Basque, Samuele Doria, Ananta Soneji, Wil Gibbs, Adam Doupé, Yan Shoshitaishvili, Eleonora Losiouk, Ruoyu Wang 0001, Simone Aonzo

该论文首次系统性地研究了大型语言模型(LLM)在软件逆向工程(SRE)中与人类分析师的协作效果。研究分为两部分:首先通过一项包含153名从业者的在线调查,记录了当前LLM在SRE领域的应用现状;随后设计了一项精细的人类实验,选取两个具有CTF风格的二进制程序(代表真实软件),对48名参与者(24名新手和24名专家)进行了超过109小时的逆向工程工作流监测。通过18项发现,论文揭示了LLM在SRE中的多重益处与危害。显著结果表明:LLM辅助缩小了专业差距——新手的理解率提升了约98%,达到专家水平,而专家获益甚微;但同时存在有害幻觉、无建议和低效结果。已知算法函数的分类速度提升最高达2.4倍,工件恢复(符号、注释、类型)增加至少66%。总体而言,研究发现人机协同在SRE中具有强大潜力,但也凸显了当前LLM集成中的显著缺陷。该研究为安全分析师、逆向工程师及AI辅助工具开发者提供了重要参考,有助于理解LLM在实际逆向任务中的真实效用与局限性。

💡 推荐理由: 该研究量化了LLM对逆向工程效率与能力的影响,尤其揭示了新手与专家获益不均的现象,以及幻觉等风险,对安全团队评估LLM工具的实际价值具有直接指导意义。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)