#inference-optimization

共收录 2 条相关情报。

← 返回所有主题

学术论文2026-08-14 发布INFO

From Positionwise Confidence to Prefix Scheduling: Verifier Skipping in Speculative Decoding

投机解码是一种加速自回归生成的技术，通过一个小型草稿模型生成候选 token 序列，再由大型目标模型并行验证。然而，传统的投机解码仍需要在每个草稿块上调用验证器，这成为性能瓶颈。特别地，投机扩散解码（SDD）通过离散扩散模型并行生成整个草稿

历史摘要 · 未重新核验 · arXiv cs.CR

#cs.CL #llm #speculative-decoding #inference-optimization

学术论文2026-05-20 发布INFO

Trusted Weights, Treacherous Optimizations? Optimization-Triggered Backdoor Attacks on LLMs

该论文首次揭示了LLM推理优化（尤其是编译优化）中存在的安全漏洞，并提出了一种新型后门攻击——优化触发后门。作者指出，尽管编译优化在部署LLM时广泛使用，且默认假设编译后的计算图与原始计算图语义等价，但编译过程中的数值副作用可能被恶意利用，

历史摘要 · 未重新核验 · arXiv cs.CR

#cs.AI #cs.LG #llm-backdoor #compilation-attack #inference-optimization #llm-security