SafeDepth: Safety-Aware Token-Level Adaptive Computation
该论文关注 Transformer 推理加速中的 token 级自适应计算（token-level adaptive computation）所带来的安全副作用。以往研究认为并非每个 token 都需要经过全部层，因此出现了一批选择性跳层的
#inference-efficiency
共收录 2 条相关情报。
← 返回所有主题Watermarkable Multi-Draft Speculative Sampling via Poisson Processes
该论文研究大语言模型（LLM）部署中的两个关键需求：推理效率（inference efficiency）与输出溯源（output provenance），前者通常由推测采样（speculative sampling）解决，后者由文本水印（w