Safety Beyond the Interface: Detecting Harm via Latent States in Large Language Models
该论文关注大语言模型(LLM)安全防护基础设施的部署成本问题:当前主流做法是在模型外部串接独立的护栏模型(guardrail model)对输入输出做有害性判定,但这类外部防护会带来显著的推理延迟与算力开销,在资源受限、时延敏感的场景(如边
共收录 1 条相关情报。
← 返回所有主题该论文关注大语言模型(LLM)安全防护基础设施的部署成本问题:当前主流做法是在模型外部串接独立的护栏模型(guardrail model)对输入输出做有害性判定,但这类外部防护会带来显著的推理延迟与算力开销,在资源受限、时延敏感的场景(如边