推测解码（Speculative Decoding）：AI 一次性 “预判多个字”，速度提升 2‑3 倍，输出结果却完全不变

步步糕升

导语

      很多人会好奇：现在大模型对话响应速度明显变快，但模型本身并没有被重训升级。其中一项关键技术就是推测解码（投机解码，Speculative Decoding）。
      常规大模型生成是自回归模式，一个字（token）接一个字往外吐。每输出一个词，都要把数百亿参数从显存搬运一遍，GPU 算力经常闲置，瓶颈卡在显存带宽。推测解码换了一套思路：用一个轻量小模型快速先写出一串草稿，交给主大模型一          次性并行校验，猜对就直接收下，猜错就当场修正。最高可以把生成速度提升 2‑3 倍，并且保证输出文本和原生大模型直接生成的结果一模一样。
      本文通俗拆解推测解码底层逻辑、完整工作流程，解释为什么提速却不改输出、草稿模型从哪里来，以及这项技术的收益边界与现实局限。

提示：本文为技术科普，不构成产品选型、投资建议。

一、原生生成模式：为什么大模型只能一个字一个字往外吐

大语言模型属于自回归生成：要生成下一个字，必须完整参考前面已经生成的全部上下文。传统流程：输出第 1 个字 → 把这个字拼进上下文，再计算输出第 2 个字，循环往复。
这里有一个非常反直觉的硬件瓶颈：GPU 算力很富裕，但显存带宽是短板。每生成一个 token，都要把整个大模型几百亿参数从显存读取出来做计算。大量时间消耗在搬运数据上，GPU 的算术计算单元大部分时间在原地等待，算力被白白闲置。

• 生成 100 个字，就要完整读取 100 次整套大模型参数；
• 真正做矩阵运算的时间占比并不高，大量开销来自反复搬运权重。
  

像量化、KV‑Cache 这类优化，是想办法让 “生成单个字变得更快”。而推测解码不走这条路，它希望一次处理多个字，减少读取大模型参数的总次数。
二、推测解码完整工作流程：小模型写草稿，大模型做裁判

整套系统由两套模型配合完成：

• 草稿模型（Draft Model）：轻量小模型，参数量小，运行速度极快，负责快速预判后续若干个 token，充当写草稿的助手；
• 目标主模型（Target Model）：真正决定输出质量的大模型，不负责凭空写草稿，只做并行校验，拥有最终决定权。
  

完整三步流程：

• 草稿预判阶段小模型根据当前上下文，一口气连续预判出后面 K 个候选 token，常见取值为 4‑8 个。小模型体量小，这一步计算成本很低，很快输出一串草稿文本。
• 大模型一次性并行校验（核心加速点）把小模型猜出来的 K 个草稿，全部拼接到现有文本之后，大模型只执行一次前向传播运算。
  

重点：验证 K 个 token 和生成 1 个 token，读取大模型全套参数只需要一次。利用 Transformer 可以对多个序列位置并行做矩阵运算的特性，一次性算出每一个位置上大模型自己的概率分布，不需要跑 K 遍大模型。之前原生模式生成 K 个字，要读取 K 次整套大模型参数；现在只读取 1 次。多出来的验算计算，刚好消化掉 GPU 原本闲置的算力。

• 逐位判断接受或者拒绝从第一个草稿 token 开始依次校验：
  

• 如果草稿猜测的内容，和大模型自己想要输出的内容一致，直接收下这个 token；
• 一旦遇到第一个不匹配的位置，立刻拒绝该 token，它后面所有草稿全部作废，由大模型在该位置重新生成正确内容。
  

收下正确部分之后，循环重复 “小模型猜草稿→大模型批量校验” 整套流程，直到输出结束符。
举个通俗类比：老师（大模型）批改作业，学生助手（小模型）快速先写好 5 句草稿。老师不需要自己逐句从头写，一次性看完这 5 句。前面 3 句写对直接保留，第 4 句写错，第 4、5 句全部划掉，老师自己写第 4 句。接下来助手继续往后猜，反复循环。助手只有猜测资格，没有决定权，真正输出内容的永远是老师。
三、关键疑问：提速 2‑3 倍，为什么输出结果可以完全不变？

很多人会疑惑：小模型会猜错，为什么最终输出文本，和完全不用推测解码、大模型原生生成的结果完全一致？
秘密在于拒绝采样校验规则，不是简单看文字是不是一模一样，而是对比两边输出的概率分布，按照严谨的概率校正规则做取舍，保证采样的概率分布和原生大模型完全等价。

小模型猜出来的 token 只是候选，但凡不符合大模型本身的概率逻辑，就会被丢弃重写。小模型的猜测仅仅用来提速，不会干预最终文本的走向。也就是说：草稿模型可以瞎猜，但没有决定权，最终每一个被输出的字，本质都来自大模型本身的判断。

注意前提：该结论建立在开启确定性采样（greedy 贪婪解码）的场景。如果开启温度随机采样，硬件浮点误差会带来极微小差异，但语义、逻辑不会发生变化。

四、草稿模型从哪里来？

草稿模型一般分两种来源：

• 独立训练的轻量化专用小模型：专门针对这个大模型的文本分布训练，尽量模仿主模型的输出习惯，尽量提高猜对的比例。猜对概率越高，加速效果越明显；
• 主大模型自身做裁剪、蒸馏出来的简化版本，不用从零训练全新模型，工程落地更方便。
  

草稿模型质量直接决定收益：如果小模型猜什么错什么，每一步都大量被拒绝，不但无法提速，反而额外增加计算开销，速度会变慢。行业实际落地，草稿模型平均接受率一般要维持在 60%‑80% 区间，才能拿到可观加速效果。

五、推测解码不是万能，什么场景能提速、什么场景收益很低

✅收益明显的场景：

• 日常对话、问答、文案写作这类内容，上下文逻辑连续性强，小模型比较容易猜对后续内容，典型可以拿到 1.5‑3 倍的速度提升，这也是线上聊天 AI 感知变快的重要原因。
  

❌几乎没有加速，甚至变慢的场景：

• 高随机性、强创造性输出，比如脑洞故事、高度发散创作，下一步走向很难预判，草稿大量被驳回，额外计算变成负担；
• 代码、数学推理难题，下一步 token 变化跳跃大，小模型预判成功率下降，加速倍数往往只有 1.2‑1.5 倍；
• 草稿模型和主模型文本风格不匹配，大量猜测被拒绝，会出现负收益，反而比原生生成更慢。
  

本质：推测解码的红利来自 “后面一小段文本是可以被低成本预判”，如果很难预判，这套技术就发挥不出优势。

另外，它是延迟优化，不是吞吐量魔法：它降低单条请求的响应等待时间，并不代表服务器一瞬间可以承载暴涨数倍并发用户。
六、常见认知误区澄清

• 误区：推测解码是小模型在替大模型输出内容。纠正：小模型只负责猜草稿，没有决定权。一旦不对就被丢弃，每一个输出 token 的最终判定权都属于主大模型，所以可以做到输出不变。
• 误区：只要打开推测解码，所有场景都可以稳定快 2‑3 倍。纠正：加速倍数取决于草稿模型猜对概率。对话问答效果最好；发散创作、复杂代码推理收益会明显缩水，极端情况反而更慢。
• 误区：推测解码会改变大模型的回答质量，会偷偷篡改输出。纠正：在贪婪确定性解码条件下，理论输出与原生生成完全等价；随机采样模式存在极微小浮点误差，不会改变语义逻辑。
• 误区：推测解码靠降低模型精度换取速度，类似量化压缩。纠正：和量化不是一类优化。量化会损失模型本身能力；推测解码不改动主大模型权重，靠 “预判 + 并行校验” 的执行策略提速。
• 误区：推测解码可以把大模型训练速度加快两三倍。纠正：它是推理阶段生成加速技术，只用于对话输出，不能用于大模型训练过程加速。
  

文末总结

推测解码（Speculative Decoding）解决的是大模型自回归生成的显存带宽瓶颈。利用轻量草稿小模型提前预判后续 token，大模型只执行一次并行前向传播完成批量校验，猜对就直接复用，猜错立刻丢弃重写。在聊天问答这类可预判的场景，可将生成速度提升 2‑3 倍，同时保证输出结果等价于原生大模型。
但它不是万能魔法，加速上限高度依赖草稿模型的预判准确率；高发散、强跳跃的任务收益有限，甚至会出现负收益。这项技术已经被广泛部署在主流大模型推理框架与线上聊天产品中，也是现在 AI 对话体验变快的幕后关键技术之一。