FragToken: Amplifying LLM Inference Costs through Noncanonical Token Generation
该论文研究的是大模型推理阶段的一种新型资源消耗（成本放大）攻击面。背景是：随着 LLM 推理成本不断攀升，针对模型服务方的资源耗尽攻击日益受到关注。已有攻击通常通过触发超长或高度重复的输出来放大成本，但这依赖攻击者可控或可触发的请求，在正常
#inference-cost-attack
共收录 2 条相关情报。
← 返回所有主题Inference Cost Attacks for Retrieval-Augmented Large Language Models
该论文研究了检索增强生成（RAG）增强的大型语言模型（LLM）系统面临的推理成本攻击（ICA）问题。RAG系统通过多阶段流水线动态检索并合成外部知识，虽然提升了性能，但也带来了高昂的推理成本。现有ICA攻击通常假设可以直接操纵提示，这在实践