Configuration, Not Conscience: A Large-Scale Empirical Study of LLM System Prompts
本文对商业大语言模型系统提示词（system prompt）的构成进行了迄今为止规模较大的实证研究。作者指出，业界与社区常把泄露的系统提示词当作窥探商业模型「隐藏价值观」的窗口，但很少有人在大规模语料上系统分析这些提示词究竟由什么内容构成。
#prompt-engineering
共收录 9 条相关情报。
← 返回所有主题Reasoning Topology Matters: A Controlled Study of LLM-Based Cybersecurity Analysis
该论文针对大语言模型在网络安全分析中的推理结构问题展开研究。背景是：LLM 已被广泛用于网络安全场景，而准确的安全分析往往需要跨复杂、异构数据（如网络流量、威胁情报文本、漏洞描述）进行多步、依赖上下文的推理。现有提示词（prompting）
Specification Before Generation: A Pre-Registered, Five-Model Paired Evaluation of a Specification Frame for LLM-Generated Code in Money, Time, Idempotency, and Access Tasks
该论文研究一个在受监管后端开发中反复出现却长期未被有效解决的问题：大语言模型生成的代码在安全与正确性检查上的通过率四年来几乎没有提升，而在金融、医疗、保险等受监管场景里，真正致命的缺陷类别集中在四类——金额运算（精度、舍入、货币单位）、时间
Prompt Structure Redistributes, Not Reduces: An Empirical Analysis of Security-Weaknesses in LLM-Generated Python Code
本文针对大型语言模型（LLM）从自然语言提示生成代码时，提示工程如何影响生成软件安全性的问题展开实证研究。现有观点认为结构化、面向安全的提示可以促使模型生成更安全的代码，但作者指出，其影响不能仅通过检测到的弱点是否存在来衡量。为此，研究者使
The Illusion of Secure LLM Code: Closing the Security Gap via Iterative Reprompting
本文评估了大型语言模型（LLM）在自动生成安全认证代码方面的能力。研究选取了五种主流AI编码助手，通过双模态评估框架（静态代码分析结合动态渗透测试）并参照NIST SP 800-63B指南，分析了四种提示策略（基础、安全、NIST引导、迭代
Poster: Rethinking Security in LLM Code Generation through Real-World Risk Scenarios
本论文聚焦于大型语言模型（LLM）在代码生成中的安全性问题，指出现有基准测试往往依赖明确指定的安全需求，无法覆盖真实开发中提示词模糊或不完整的场景。作者从开发者视角出发，识别出三类典型风险场景：模糊需求（Ambiguous Requirem
The Language of Security: How Prompt Syntax Shapes Secure Code Generation in Open LLMs
大型语言模型（LLM）在代码生成任务中广泛应用，但其输出常存在安全漏洞。现有研究通过提示工程（prompt engineering）来降低风险，但存在两个局限：一是大多关注高层次提示策略，忽视了细粒度句法变体对模型行为的显著影响；二是主要评
SPARK: Security Knowledge Priming and Representation-Guided Knowledge Activation for LLM-based Secure Code Generation
大型语言模型（LLM）在生成代码时频繁引入可利用的安全缺陷。现有防御方法通常依赖繁重的微调或外部知识检索，带来显著的计算开销和冗余代码示例导致的数据偏差。本文提出一种相反观点：预训练语料库中已包含丰富的安全知识，缺陷在于激活不足——缺乏明确
A Validated Prompt Bank for Malicious Code Generation: Separating Executable Weapons from Security Knowledge in 1,554 Consensus-Labeled Prompts
现有针对语言模型在恶意代码生成任务上的拒绝行为评测基准，常常将“请求生成可执行恶意软件”与“请求有害安全知识”混为一谈。这种混淆会导致两种请求类型在安全对齐模型中触发不同的拒绝路径，而基于混合提示计算出的单一拒绝率无法单独衡量任何一类。本文