位置编码（RoPE）

一句话理解

给每个字发一个“座位号”——注意力本身不分先后，位置编码负责告诉模型谁在前谁在后，RoPE 是主流方案。

定义

位置编码（Positional Encoding）为序列中每个 token 注入位置信息；旋转位置编码（RoPE, Rotary Position Embedding）通过旋转向量编码相对位置，是当前主流大模型的标准选择，也是长上下文扩展技术围绕的核心。

你会在哪遇到它

模型技术报告里“我们采用 RoPE 并扩展到 128K”；讨论“模型为什么读不完一份长文档”——位置外推能力不足；微调教程里的“调整 RoPE 或 NTK 参数”。

背后的原理

注意力对输入顺序天然“失明”——打乱字序结果不变，所以必须显式注入位置。RoPE 的思路是让每个位置的向量旋转一个与位置成正比的角度，两个 token 算相关度时自然带上相对距离。想支持更长上下文，就调整旋转规则让“没见过的座位号”也能安排，如线性内插、NTK 缩放等外推技巧。

和相近概念的区别

1 与上下文窗口：窗口是训练时见过的最大座位数，位置编码是编号方案，外推技术让编号能延到更大。 2 与 KV 缓存：都影响长文本处理，RoPE 管“位置怎么标”，KV 缓存管“历史怎么存”。 3 与 Mamba：SSM 用状态传递天然带顺序，不需要显式位置编码。

常见误区

1 位置信息模型自己能学出来——不加位置编码，注意力就是一锅无序词袋，语序全乱。 2 支持长上下文只需改 RoPE——还要训练或微调配合，硬外推会让模型语无伦次。 3 RoPE 是唯一方案——早期有绝对位置编码，后来有 ALiBi 等，RoPE 是当下主流而非终点。