多 Token 预测（MTP）

一句话理解

一次考试多交几份答案——模型每步同时预测后几个词元，训练信号更多，推理时还能当“草稿”加速生成。

定义

多 Token 预测让模型在每个位置不只预测下一个词元，而是同时预测后面多个位置的词元（配多个输出头）。训练时提供更密的监督信号、逼迫模型看得更远；推理时多余的预测头可充当投机解码（975）的草稿，DeepSeek V3 就内置了这样的模块。

你会在哪遇到它

DeepSeek 技术报告里的 MTP 章节；讨论“训练效率新招”的文章；开源模型架构图里多出来的输出头。

背后的原理

传统单 Token 预测的信号稀疏——每一步只压一个对错。多 Token 预测让每步同时给出未来若干词元的预测，梯度信号更丰富，对代码等强结构任务收益明显。推理时草稿头的建议由主模型验证，质量有保证，加速等于白捡。

和相近概念的区别

1 与投机解码（975）：投机解码是推理技巧，MTP 从训练就埋好草稿头，两者天然配合。 2 与多任务学习（987）：多任务是多类任务，MTP 是同一任务的多步预测。 3 与测试时计算（1035）：一个改训练目标，一个改推理算力分配。

常见误区

1 头越多越好——预测步数与显存开销是权衡，通常两到四步够用。 2 它改变生成质量本质——能力上限仍由基座决定，MTP 是效率优化。 3 只有 DeepSeek 在用——多家都在探索，这是行业趋势之一。