Transformer（变换器架构）

一句话理解

现在所有大 AI 共同的“发动机”——2017 年一篇论文提出的架构，ChatGPT 里的 T 就是它。

定义

Transformer 是 2017 年谷歌论文《Attention Is All You Need》提出的神经网络架构，核心是注意力机制，能高效处理长文本并支持大规模并行训练。如今几乎所有大语言模型都基于它——GPT 这个名字里的 T，就是 Transformer 的缩写。

你会在哪遇到它

读 AI 新闻时反复出现“基于 Transformer 架构”；想理解 AI 为什么在 2017 年之后突然爆发——答案就是它；技术岗位面试、模型技术报告、论文里天天见到这个词。

背后的原理

它的核心是注意力机制（Attention）：读每个词时，模型会同时环顾整句话，判断哪些词与当前词最相关并重点吸收——比如读“它把苹果吃了”时，“它”会强烈关联到前文的主体。更关键的是，旧架构只能按顺序逐词处理，Transformer 却能把整段文字拆开并行计算，训练效率碾压式领先，才有条件喂进互联网级别的海量数据，直接开启了大模型时代。

和相近概念的区别

1 与 LLM：Transformer 是发动机，LLM 是装了这台发动机的整车。 2 与 RNN、CNN：上一代处理文字的主流架构，串行处理慢、长文记不住，在文字领域已基本被取代。 3 与注意力机制：注意力是 Transformer 内部的核心零件，一个是架构、一个是零件，不是同一个层面的概念。

常见误区

1 以为它是一个模型——严格说它是架构和骨架，具体模型是按这个骨架训练出来的那套参数。 2 有了它就有了智能——架构只是条件之一，海量数据和算力同样缺一不可。 3 它会一直是唯一答案——改良版层出不穷，也有新架构挑战者，但目前主流仍然姓 Transformer。