SUFFIXDECODING: A MODEL-FREE APPROACH TO SPEEDING UP LARGE LANGUAGE MODEL INFERENCE

本文是LLM系列文章，针对《SUFFIXDECODING: A MODEL-FREE APPROACH TO SPEEDING UP LARGE LANGUAGE MODEL INFERENCE》的翻译。

摘要

我们提出了 SuffixDecoding，这是一种新颖的无模型方法，可通过推测解码加速大语言模型 (LLM) 推理。与依赖草稿模型或专门解码头的现有方法不同，SuffixDecoding 利用根据先前生成的输出构建的后缀树来有效预测候选token序列。我们的方法可以实现灵活的树结构推测，而无需维护和编排额外模型的开销。 SuffixDecoding 构建并动态更新后缀树以捕获生成文本中的模式，并使用它们通过基于经验token频率的原则评分机制构建推测树。 SuffixDecoding 仅需要 CPU 内存，而在典型的 LLM 服务节点上，CPU 内存充足且未得到充分利用。我们证明，与基于模型的方法相比，SuffixDecoding 在不同的工作负载（包括开放域聊天、代码生成和文本到 SQL 任务）中实现了有竞争力的加速。对于开放式聊天和代码生成任务，SuffixDecoding 的输出吞吐量比 SpecInfer 高 1.4 倍，并且每个token时间 (TPOT) 延迟低 1.1 倍。对于专有的多 LLM 文本到 SQL 应用程序，SuffixDecoding 的输出吞吐量比推测解码高 2.9 倍，延迟低 3 倍。我们的评估表明ÿ