#security-assistant

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Lea Duesterwald, Anika Jain, Shreya Kochar, Norman Sadeh

该论文研究如何通过个性化策略提升基于大语言模型(LLM)的网络安全助手的回答效果。研究动机来自一个现实矛盾:用户越来越多地向 LLM 咨询网络安全问题,但在获得建议后往往并不真正执行——仅提升回答的技术准确性,并不足以改善用户对安全建议的理解、落实与采纳意愿。因此作者将评估维度从单一的“准确性”扩展到可理解性、可执行性,以及最重要的“激励/推动力”,即回答是否足以促使用户真正采取安全行动。 方法上,作者设计了四种层层递进的个性化策略,从静态的用户画像(如角色、技术水平、组织背景)到基于交互历史的个性化,即依据用户先前的对话内容与行为线索动态调整回答。研究使用两个数据集与评测环境:一个包含 1,045 条真实世界网络安全问题的语料,以及一次为期 7 天的真实部署,共有 57 名参与者提出 1,066 个问题。评测采用双轨制:一是大规模自动化 LLM 评测,二是人工评测,二者都对回答的“感知有用性”和“是否愿意遵循该安全建议”进行成对比较打分。 主要发现是:基于对话/交互历史的个性化在两项指标上持续获得更高评价,优于静态画像等其他策略;更关键的是,LLM 自动评测所呈现的相对趋势与人工评测结果一致,表明在开展昂贵、耗时的真实用户研究之前,可以用 LLM 评测作为一种可扩展的预筛选机制来比较不同个性化策略。作者据此认为,行为驱动的个性化是 LLM 驱动的网络安全助手的一条有前景的演进方向,并强调在个性化语言模型系统的研究中,将 LLM 评测与人工评测结合使用具有重要价值。该工作适合研究 LLM 安全助手、可用安全(usable security)、安全意识与安全建议采纳行为的读者,也适合正在落地企业内部安全问答助手的安全工程与产品团队参考。

💡 推荐理由: 安全建议的执行率长期偏低,而该研究表明基于对话历史的个性化能显著提升用户对安全建议的感知有用性与采纳意愿,并且 LLM 自动评测可低成本替代部分人工用户研究。对计划部署 LLM 安全助手的团队具有直接的方法论与设计参考价值。

🎯 建议动作: 研究跟进:可将其评测方法(LLM 评测与人工评测对齐验证)纳入内部 LLM 安全助手评估流程的设计参考。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)