Transformer 把这些计算接起来

　　上一节，我们看到注意力机制会把不同位置的信息按权重汇总，得到新的向量。但这还不是完整的计算过程：模型怎样区分词语的先后顺序？汇总的信息还要经过哪些处理，最后才能变成下一枚 token 的候选得分？

　　这些问题，就需要把前面学到的机制放在一起理解。Transformer 是一种神经网络架构，它将位置信息、注意力、前馈网络等计算组织起来，让信息经过一层层处理，最终参与输出的预测。

　　这一节，我们沿着许多文本生成模型采用的仅解码器（decoder-only）Transformer，先看看信息怎样从输入走到输出，再拆开其中一层，理解各个部件怎样配合。这样，以后接触不同模型的结构和实现方式时，我们就能看清它们有哪些共同原理，又在哪些地方有所不同。

一次生成，先经过整个网络

　　前面我们分别了解了 token、向量和注意力，现在把这些计算连起来看看。

　　输入的文本首先经过分词器，转换成 token ID，再通过嵌入表得到各位置的向量。接下来，模型结合位置信息，让这些向量依次经过多层 Transformer 块，不断更新其中的表示。最后，输出层将当前位置的表示转换成词表中各个候选 token 的得分，也就是 logits。经过概率转换和选择，就得到了下一枚 token。

　　选出的 token 会接到已有前文后面，模型再根据新的序列继续预测。这里其实有两个不同的过程：生成一枚 token，需要经过多层网络的计算；生成一段完整的回答，则需要反复预测下一枚 token。 因此，模型有多少层和最终生成多少枚 token 是两回事。即使模型有很多层，也可以只生成一枚 token。

内容相同，位置为什么仍然重要

　　来看两句话：“小林帮助小周”和“小周帮助小林”。它们包含完全相同的词，但顺序一变，帮助者和被帮助者就调换了。模型不仅需要知道每个 token 表示什么，还要知道它们出现在什么位置。

　　回想上一节的注意力计算。如果保持查询不变，只交换两组 K、V 的位置，在没有位置信息、可见范围也不变的情况下，注意力权重会跟着交换，但最终加权汇总的结果仍然相同。也就是说，仅靠这样的内容匹配，无法从排列顺序本身区分两种情况。

　　为此，Transformer 需要让位置信息参与计算。最直观的方法，是为每个位置准备一个不同的位置向量，再将它加到对应 token 的嵌入上。这样，即使是同一个 token，出现在不同位置时，得到的向量也会不同，后续计算便能利用这些差异区分位置。

　　这也是 2017 年最初提出的 Transformer 所采用的思路。不过，位置信息不一定要直接加到输入向量上。例如，Qwen3 使用的旋转位置编码（RoPE），会根据位置对注意力计算中的 Q、K 进行旋转，让它们的匹配得分反映相对位置关系。两种方式的具体计算不同，但目的都是让模型在处理内容时，也能利用这些内容的位置关系。

拆开一个块：汇总以后还要加工什么

　　前面我们已经知道，注意力负责从不同位置汇总信息。但这些信息汇总以后，还需要怎样处理？接下来，我们拆开一个 Transformer 块，看看其中的计算怎样衔接。

　　我们先用一个简化的单层 Transformer 来观察。输入是 A、B、C、D，字母只是 token 的代号。它的参数由我们人为设定，用来演示信息怎样流动，不代表真实模型的理解能力。

　　先看 B 所在的位置。模型会取得 B 的嵌入向量，并让位置信息参与计算。随着计算进行，这个位置的向量也会不断更新，这就是它当前的表示。随后，注意力机制会从允许读取的位置汇总信息，把上下文信息带进 B 的表示。

　　接下来，前馈网络（FFN）会把这些信息再加工一次。我们可以把它理解为一个处理函数：接收当前位置已有的信息，经过组合与调整，算出新的表示，再交给后续计算。在真实模型里，这个函数的加工方式由训练学到的参数决定。

　　两者的分工可以这样理解：注意力负责汇总不同位置的信息，FFN 负责加工当前位置已经拿到的信息。 在同一层里，各位置使用同一个 FFN 处理函数，但传入的是各自的表示。虽然 FFN 不会在这一步重新读取其他位置，它处理的信息已经包含了注意力带来的上下文。

　　那么，经过这些计算，原来的表示会被直接替换吗？并不是。注意力和 FFN 都配有残差连接，将各自计算出的结果加到进入该环节前的表示上。这样，原有信息就有了一条直接传递的路径，模型可以在此基础上继续调整。

　　此外，模型还需要控制计算过程中数值的变化，这就用到了归一化。它会按照一定规则调整每个位置的向量数值，帮助保持计算稳定。

　　这样，注意力、FFN、残差连接和归一化就共同构成了 Transformer 块的主要计算环节：注意力汇总信息，FFN 加工表示，残差连接保留直接传递的路径，归一化帮助稳定计算。

　　一个 Transformer 块完成计算后，会把更新后的表示交给下一个块。就像一条逐层加工的流水线，后面的层会在前一层的结果上继续处理。虽然各层结构相似，但通常拥有各自训练得到的参数，因此可以从不同方面进一步加工信息。

　　那么，经过最后一个 Transformer 块，下一枚 token 就出来了吗？还没有。此时得到的仍然是向量表示。对于常见的仅解码器模型，我们会取当前序列最后一个位置的表示，经过最终归一化和输出投影（LM Head），转换成词表中每个候选 token 的得分。

　　这就回到了前面学过的生成过程：模型通过 softmax 将得分转换成概率，再根据选择策略确定下一枚 token。新 token 被接到前文后面，模型又开始下一轮计算。

　　到这里，从输入文本、逐层加工到生成下一枚 token，整条计算路线就连起来了。

每个位置能读取哪些内容

　　这里还有一个问题：训练时，我们通常已经有了完整的文本，模型会不会提前看到后面需要预测的内容？比如训练文本是 A B C D，模型需要根据 A 预测 B，根据 A B 预测 C，根据 A B C 预测 D。如果计算到 B 所在的位置时，就能直接读取 C、D，相当于提前看到了后面的答案。

　　为此，Transformer 可以通过因果遮罩（causal mask）限制注意力的读取范围：每个位置只能读取自己和前面的内容，不能读取后面的位置。例如，B 所在的第 2 位可以读取 A 和 B，却不能读取 C、D。

　　这样，即使训练时同时计算多个位置，每个位置也只能依据允许读取的前文进行预测。而真正逐步生成时，后面的 token 还没有产生，模型自然也无法提前读取。因果遮罩让训练时的注意力计算遵守这一限制，与逐步生成的要求保持一致。

从这条路线认识具体模型

　　前面我们沿着仅解码器 Transformer，了解了模型从输入到输出的计算过程。不过，Transformer 并不只有这一种结构。

　　2017 年最初提出 Transformer 时，它主要用于机器翻译：编码器（Encoder）先处理原文，解码器（Decoder）再结合原文信息，逐步生成译文。而今天许多文本生成模型采用的是仅解码器（decoder-only）结构，将提示和已经生成的内容放在同一条序列中，根据已有前文继续预测下一枚 token。

　　不同模型还会在位置编码、归一化和前馈网络等环节采用不同的设计。理解这些部件的作用后，我们再阅读模型的技术说明，就能知道某项新设计改变了哪个环节、可能带来什么影响。不过，结构上的差异并不直接代表实际效果的好坏，最终仍要结合具体任务判断。

　　这些原理也能帮助我们理解日常使用 AI 时发生的变化。比如补充人物设定、调整资料顺序，改变的是模型这次接收到的信息，以及后续计算得到的表示，并不意味着模型参数被重新训练。而资料进入上下文，也不代表模型一定会正确利用。至于怎样组织信息、怎样让模型更好地利用上下文，我们会在后面的课程中继续深入。

　　到这里，我们已经看到文本怎样经过向量表示、注意力汇总和多层计算，最终得到下一枚 token 的候选得分。那么，既然知道了模型怎样生成回答，我们又能怎样影响这个过程？ 下一节就从推理投入、采样方式和生成预算开始，看看这些设置分别会带来什么变化。