AI 说人话:位置编码是什么——模型凭什么知道「先」和「后」
· AI Hot 编辑部
11 月 15 日,Sebastian Raschka 发了一篇长文,从 GPT-2 的位置向量一路讲到 RoPE 的代码实现,再讲到现在的模型为什么只转一半维度。表面是写给研究者的,里面有几件事你选模型、丢长文档的时候真用得上:这篇讲清楚模型到底靠什么认出「前一句」和「后一句」,为什么有人说「干脆别写位置」,以及这套东西怎么影响你买模型和塞文档。
位置编码是模型认出「谁在前谁在后」的办法。GPT-2 给每个位置加一张学出来的座位号向量,原始 Transformer 用固定正弦余弦现算,RoPE 则在注意力里按位置旋转 query 和 key——两个位置同量平移时夹角不变,所以天然只表达相对距离。用 RoPE 的模型里,partial RoPE 已是多数派,MiniMax-M3 的配置文件里就是 rotary_dim 64、head_dim 128;也有论文报告 NoPE 在部分下游任务的长度泛化上更好。对读者的实际动作只有一条:别信窗口上的标称数字,拿自己那份超长材料埋点实测中段能不能读准。
「猫坐在垫子上」和「垫子坐在猫身上」,每个字都一样,意思完全反过来。模型读句子时,词本身不携带顺序,它得额外知道谁在前谁在后。这个「谁在前」的问题在 AI 里有个名字:位置编码。11 月 15 日,Sebastian Raschka 在 Ahead of AI 上发了一篇长文,从 GPT-2 的位置向量一路讲到 RoPE 的代码实现,再讲到现在的模型为什么只转一半维度。表面是写给研究者的,里面有几件事,你选模型、丢长文档的时候真用得上。
1. 模型怎么知道「前」和「后」
词嵌入只负责回答「我是哪个词」,顺序得另有人给。GPT-2 的做法很直白:给每个位置配一张「座位号向量」,进场前直接加到词的向量上。同一句里两个 fox,词向量本来一模一样,加了不同的座位号才变成两个不同的东西。代价也明摆着:GPT-2 只有 1024 张座位号,超了就没得坐;而且按 GPT-2 Medium 的账,1024 长度时位置向量只占 0.30% 的权重,窗口拉到 10 万 token 就占超过 22%——纯烧钱。
2017 年那篇《Attention Is All You Need》换了个思路:位置向量不用学,直接用固定的正弦余弦按位置算出来,不同的数对转动的快慢还不一样。它仍然是绝对位置——每个位置一个角度——但好处是不占参数,可以按位置现算,序列再长也生成得出来。
2. RoPE:把座位号换成角度差
RoPE 是 Su 等人 2021 年在 RoFormer 论文里提出的(arXiv:2104.09864)。它不把位置向量加在词上,而是在注意力算分数的时候,按各自位置把 query 和 key 转个角度,value 不转。
妙处在这个转法:把两个位置同时往后挪相同的距离,它们之间的夹角不变,点积也就不变。也就是说注意力天然只看得到「隔多远」,看不到「站在第几个」——位置关系和序列总长脱钩了。
一个注意力头里有好几对数字,每对转动的快慢不同:有的挪一个字转得多,有的挪一个字几乎不动。快慢搭配起来,才能同时表达「隔一个字」和「隔一千个字」。频率一般按 b=10000 的幂往下递减来算。
3. 现在的模型常常只转一半,还有人转十分之一,或者干脆不转
MiniMax-M3 的配置文件里写着 head_dim 128、rotary_dim 64——只转一半维度,另一半原样不动,这叫 partial RoPE。省的是预计算的 cos/sin 表:M3 是 100 万 token 上下文,按 BF16 存能省 0.134 GB,存成 NVFP4 能省 0.038 GB。但注意,KV cache 里的 key 和 value 仍然是全量,这块一点没省。
更狠的是只转 10%。2026 年 3 月的《Fractional Rotation, Full Potential?》(已被 EMNLP 2026 收录)说,在 1B 到 8B 的模型上,只转大约十分之一的维度,训练 loss 和 benchmark 精度常常跟全量 RoPE 差不多,缓存显存最多能省 10 倍。但同一篇也提醒,全量 RoPE 在部分评测上还是更好;而且完全不加位置的 NoPE 训练时会出现 loss 尖刺,得靠少量 RoPE 或者 QK-Norm 才能压住。
更激进的流派是干脆不写位置。2023 年那篇讲位置编码与长度泛化的论文发现,decoder-only 模型做下游推理和数学任务时,NoPE 反而比绝对位置、T5 的相对位置、ALiBi、RoPE 都更能泛化到更长序列,而且不额外加算力。Thinky 的 Inkling 模型则在滑动窗口和全局注意力层里都用学出来的相对位置偏置,官方说法是效果更好,外推到长序列也更稳。
但别急着下结论说「位置编码不重要」。Raschka 自己在文末的总结里就写着:RoPE 至今仍是最主流的位置编码方法。而且上面那些论文各自有各自的实验设置和任务,结论并不互相打架——真正稳的说法是:这一行到现在还没走完,全转、半转、十分之一转、不转,各有论文,各有各的坑。
4. 这跟你的日常有什么关系
选模型的时候,别只看「支持多少 token」。那通常只是配置事实(max_position_embeddings 这类字段),不等于模型真能用到那么长——位置编码方式直接影响长度泛化能力。最省事的验证:拿一份你自己真实的超长材料(合同、代码库、客服记录都行),在中间埋个只有原文才有的细节,看模型能不能准确答出来。这比翻任何宣传页都实在。
丢长文档之前,先分清两件事:位置编码管的是顺序,注意力稀释管的是「还记得多少」。窗口开到 100 万 token 不等于模型真读得进去,这两回事可以一起处理——切段、检索、把每段的来源位置标清楚,比一口气硬塞几十万 token 靠谱得多。
本地跑模型、省显存的时候,打开 config.json 看看 rotary_dim 和 partial_rotary_factor。partial RoPE 省的是预计算表那点空间,KV cache 那块一分不省,显存吃紧别指望位置编码救你。反倒值得确认一件事:你用的实现里有没有 QK-Norm,NoPE 这类路线崩在 loss 尖刺上时,QK-Norm 是常见的解法。
做 agent、跑多步长流程的,别让模型自己记位置。给每一步留编号、文件路径、时间戳这些硬标记,比指望它靠上下文顺序推理靠谱得多。
常见问题
位置编码和上下文窗口是一回事吗?
不是。上下文窗口是模型一次能装多少 token 的容量上限;位置编码是模型在这堆 token 里认出谁在前谁在后的办法。窗口大只说明装得下,不代表读得准,也不代表真用得上那么长。
RoPE、partial RoPE、NoPE,我该关心哪个?
只关心一件事:位置编码方式会影响模型的长度泛化,也就是训练时没见过的长度还能不能用。全量 RoPE 至今仍是最主流,用 RoPE 的模型里 partial RoPE 已从 2025 年的少数派变成 2026 年的多数派;也有论文报告 NoPE 在部分下游推理和数学任务上泛化更好。你不用自己选模型架构,但要按自家材料实测中段能不能读准。
partial RoPE 真能省显存吗?
省的是预计算的 cos/sin 表:MiniMax-M3 的 100 万 token 上下文下,旋转一半维度,BF16 存表省 0.134 GB,NVFP4 省 0.038 GB。KV cache 里的 key 和 value 仍是全量,那块没省。论文里说的「最多 10 倍」是缓存维度的理论上限,不等于你整张卡省 10 倍。
位置编码这件事的门槛不在深度,在于它回答的问题太朴素:模型怎么知道「先」和「后」。而这一行到现在还没走完。对你来说真正要做的事只有一件:别信窗口上的标称数字,拿自己那份超长材料实测一遍,看中段到底能不能读准。
来源与范围
Ahead of AI (Sebastian Raschka) · Understanding Positional Embeddings in Modern LLMs
源发布日期:(日精度;公告元数据自报 UTC 时间见来源注)
来源:Ahead of AI《Understanding Positional Embeddings in Modern LLMs》,2026-11-15(日精度)。本文以该文及其引用的 arXiv 论文与模型配置文件为据,未复现实验;选型与验证建议为编辑建议,不保证任何模型在你的数据上表现一致。