这篇解决一个问题：机器怎样从“看局部、记前文”，发展到“按当前问题寻找相关信息”？CNN 是 Convolutional Neural Network（卷积神经网络），用可重复使用的小窗口从图像中提取局部特征；Transformer 是以注意力为核心的网络结构。注意力就是按当前需要给不同位置分配关注权重，再汇总它们的信息。标题中的大模型指参数规模较大、用大量数据训练的网络；“从……到……”表示两条研究路线在时间线上逐渐汇合，并非 CNN 被 Transformer 全面淘汰。
我们先看图像和句子各自难在哪里，再沿代表性论文的时间线理解两条路线如何改进，最后看大语言模型和视觉模型怎样使用这些部件。读完应能自己推演一次“查询、匹配、取值”的计算，而不只背三个字母。
照片里的猫可能在左上角，也可能在右下角。若每个位置都重新学习“猫耳朵长什么样”，会浪费参数。先用同一个小窗口在各处寻找边缘和形状，比较合适。
读到“他把球捡起来”时，“他”指谁要看前文。把每个词孤立处理，就丢了先后顺序和上下文。模型需要把先前信息带到当前词。
图片路线后来形成卷积神经网络；句子等有顺序的数据形成RNN，即 Recurrent Neural Network（循环神经网络）：处理当前项时，把上一步留下的状态带过来。它们解决的问题不同，所以本来就是并行路线。机器学习中的“网络”是许多可训练计算单元组成的计算结构，并不是互联网。
下面每个年份是“本文选择的代表性节点”，不是把前人的探索压缩成单一发明日。长短期记忆（Long Short-Term Memory，简称 LSTM）是让循环网络更有选择地保留旧信息的方法；注意力是按当前需要查找相关位置的方法；视觉 Transformer 则把图像分块后送入 Transformer。预训练是先用大量数据学习通用规律，语言模型是预测文本后续内容的模型。先认识这些名字，再沿时间线逐个推导。
这些代表性节点来自循环网络、长短期记忆、文档识别卷积网络、大规模图像分类、翻译注意力、原始 Transformer、后续语言模型与视觉 Transformer 的原始论文。对应原文在文末。
先想象识别一张照片中的边缘。一个 卷积核就是一组很小的可学习数字，在图上逐格滑动；每到一处，用附近像素算出一个结果。同一组数字在所有位置重复使用，叫参数共享。它避免为每个位置单独学习一套“边缘探测器”，代价是单层只能直接看到局部范围，常靠堆叠多层扩大观察范围。
把图片缩成 4 行 × 4 列，每格只有一个数。示例小窗口为 2 行 × 2 列，只取窗口左上和右下相加。这不是训练好的真实卷积核，只用于把滑动计算数出来。
1998 年的 LeNet-5 展示了卷积网络在文档识别上的完整应用。2012 年的 AlexNet 则展示了深层卷积网络在大规模图像分类上的强大效果。卷积并非只能处理图片，也能用于序列；这里只用图片建立最直观的起点。
对句子“我 喜欢 苹果”，读到“苹果”时必须知道前面是“喜欢”。循环网络让同一套计算在每个时间步重复使用：当前词 xₜ 加上上一步的状态 hₜ₋₁，算出新状态 hₜ。状态就是模型对已经读过内容的压缩记录，不是把原句逐字原样存下来。
如果前面出现了“小明”，中间隔了许多词，最后才出现“他”，普通循环网络可能很难把“小明”保留到那里。训练时还会遇到梯度消失：用于调整早期计算的信号沿许多步传回时变得很弱。时间依赖与长距离记忆由此成为下一步的关键问题。
LSTM 是 Long Short-Term Memory（长短期记忆网络），是一类改进的循环网络。它增加一条较易持续传递的记忆单元状态，也就是随时间往后走的内部信息通道；门是由当前输入和上一时刻状态算出的 0 到 1 之间的控制值，用来决定保留、写入或输出多少信息。
例如读“小明把雨伞放在门口。过了一会儿，他……”时，模型若要理解“他”，应尽量保留“小明”这条线索，忽略不相关细节。下图的“保留”和“写入”是帮助理解的业务化标签，不表示门能像符号程序一样精确存储一个姓名。
1997 年的原始 LSTM 论文针对长距离依赖提出记忆单元。图中按今天常见的 LSTM 形式讲三类门；不同论文和实现的门、偏置与连接细节并不完全相同。它减轻了长距离信息传递难题，但仍按时间步串行处理，长序列训练不易完全并行。
翻译一句长句时，早期的编码器—解码器做法是：编码器把原文压成一份固定长度摘要，解码器再据此逐词译出。编码器负责读入，解码器负责产出；句子越长，单一摘要越可能成为信息瓶颈。
注意力是一种按当前目标给各输入位置分配权重、再汇总信息的方法。译到某个词时，解码器可以重新看原句全部位置，给有关词较高权重。这里尚可与循环网络一起使用；2014 年 Bahdanau 等人的工作并不是原始 Transformer。
“小猫 / 追 / 球” → 一份摘要 → 逐词翻译。每一步都主要依赖同一份压缩结果，细节可能丢失。
翻译动作时重点看“追”；翻译物体时重点看“球”。目标词不同，三处来源的权重也可以不同。
在自注意力中，同一段输入的各位置彼此查找信息。每个位置先经可训练的变换，产生三种角色：Q 是 Query（查询向量，表示“我现在想找什么”）；K 是 Key（键向量，表示“我有哪些特征可供匹配”）；V 是 Value（值向量，表示“如果选中我，拿走什么信息”）。向量就是按顺序排放的一组数字；它们不是字面上的字符串标签。比较分数还要做归一化，也就是转成总和为 1 的权重，才能加权汇总。
做一个一维玩具例子：输入有 3 个位置，编号从 0 起，依次是“猫”“追”“球”。现在只计算位置 1“追”的输出。它的 Q 取 1；全部三个位置各自有一份 K 和 V。真实模型中的这些数由训练得到，这里人为指定，方便把完整链路算完。
上图的归一化叫 softmax：把分数 0、1、2 分别取指数，得到约 1、2.72、7.39，再除以总和约 11.11，成为约 0.09、0.24、0.67，三项相加约为 1。真实模型用多维 Q、K，先做点积（对应数字相乘再求和的匹配计算），再按键向量维度的平方根缩放，最后 softmax。多头注意力是并行做多组这种查找，再合并结果，让模型能从不同角度建立关系；它不保证每个头都有可直译的人类语义。
原始 Transformer 用注意力代替序列主干中的逐步循环计算，同时保留若干必要部件：每个位置的数值表示、用于标记先后顺序的位置编码、逐位置处理的前馈网络（对每个位置做同样的非线性变换），以及帮助训练的残差连接（把较早的输入加回后面的计算结果）和稳定内部数值的层归一化。原论文是用于机器翻译的编码器—解码器结构，不等于今天所有模型都长这样。
| 要解决的问题 | 原始 Transformer 的做法 | 引入的代价或边界 |
|---|---|---|
| 远处词的信息难传到当前 | 一个注意力层可直接比较任意两个允许互看的位置 | 普通全连接注意力随序列长度增长，成对比较数量近似按长度平方增长 |
| 循环步骤训练时难并行 | 训练阶段同一层多个位置可同时计算 | 自回归生成仍需逐个产生新词，不能把未来答案提前生成 |
| 去掉循环后缺少顺序感 | 把位置信息加入输入表示 | 不同位置编码方案的外推能力和实现细节不同 |
自回归指根据已出现的内容预测下一项，再把它接到后面继续预测。用于自回归生成时，要加因果遮罩：位置 0 只看 0，位置 1 看 0～1，位置 2 看 0～2；未来位置不可见，否则训练会偷看答案。输入序列从 0 编号，共 3 个位置时，允许关系如下：
大语言模型是参数规模较大、在大量文本上训练的语言模型；语言模型负责根据已有文本预测后续内容。GPT 是 Generative Pre-trained Transformer（生成式预训练 Transformer）：先从大量文本学习预测后续内容，再按用途调整；2018 年的相关工作展示了这条路线。BERT 是 Bidirectional Encoder Representations from Transformers（来自 Transformer 的双向编码表示），让表示学习时利用左右两侧上下文，主要用于理解类任务。两者都使用 Transformer 思想，但训练目标和读取上下文的方式不同。
以常见的生成式路线看：文本先拆成token（模型处理的文本片段，可能是字、词的一部分或标点），每个片段变为数字表示；层层经过带因果遮罩的注意力和前馈计算，得到下一个 token 的概率分布；选出一个，再重复，直到选到终止标记（模型专用的“该停下”符号）或达到长度限制。2020 年的 GPT-3 展示了大规模自回归模型在少样本任务上的能力。“大”来自参数、数据和计算规模，能力还受训练数据、训练方法与后续调校影响，不能归因于 QKV 三个字母本身。
下图只设“好、差、晴”三个玩具候选，编号分别为 0、1、2；真实模型的候选范围由它使用的词表决定，通常远不止三个。示例选择概率最高的候选，并画出继续与结束两条出口。
ViT 是 Vision Transformer（视觉 Transformer），把图像切成固定大小的图像块，即互不重叠的小方块，再把每块映射成一项数字表示，加入位置信息，送入 Transformer 编码器。2020 年的 ViT 论文表明，在足够规模的预训练下，这条路线可以取得很强的图像分类效果。
先数一个最小例子：4×4 的图像用 2×2 的块切分，横向 2 块、纵向 2 块，共 2×2＝4 块，下标 0～3；每块相当于后续计算中的一个输入位置。真实论文中的常见示例是 224×224 图像配 16×16 图像块，得到 14×14＝196 块；这是一个配置示例，不是 ViT 的固定要求。
视觉 Transformer 并不意味着卷积网络从此无用。卷积天然强调局部结构，常有合适的计算成本和数据效率；ViT 让远距离图像块交换信息更直接，但注意力成本随块数增长。2021 年的 CLIP（Contrastive Language-Image Pre-training，对比式图文预训练）进一步展示图像表示与文字表示可以通过成对图片和描述建立联系；原论文研究了卷积和视觉 Transformer 等图像编码器，不能把 CLIP 简化为“只有 ViT”。
| 结构 | 一次主要看哪里 | 主要解决什么 | 典型代价 |
|---|---|---|---|
| 卷积网络 | 当前位置附近的小区域 | 同一局部图案出现在不同位置 | 要靠层数等设计逐步整合远处信息 |
| 普通循环网络 | 当前项与上一步状态 | 处理有先后顺序的数据 | 长距离线索易弱化，步骤串行 |
| 长短期记忆网络 | 当前项、上一步状态和记忆 | 更有选择地保留长期线索 | 门增加计算，时间步仍串行 |
| Transformer | 允许范围内的多个位置 | 按需交换远近信息，训练可并行处理位置 | 普通全连接注意力对长输入较费计算与内存 |
第一，softmax 要沿候选位置计算。如果一次给“追”的 Q 比较 3 个 K，权重应在这 3 个候选之间归一化，总和约为 1。把不同查询的位置混在一起归一化，得到的就不是原本要问的“当前词关注谁”。
第二，自回归训练必须挡住未来。若当前位置能看到后面的标准答案，离线训练指标会虚高，真实逐步生成时却拿不到那份未来信息。下面代码用最小例子复核前面的计算。
这段 Python 3 标准库代码只验证第七节的一维数字例子和第八节的可见范围，不模拟训练。运行后应看到权重约为 [0.09, 0.24, 0.67]、输出约为 25.75；前文用两位小数逐项相乘，所以写作约 25.8。
import math q = 1 # 位置 1“追”的查询 keys = [0, 1, 2] # 候选位置 0、1、2 的键 values = [10, 20, 30] # 对应位置的值 scores = [q * key for key in keys] exp_scores = [math.exp(score) for score in scores] total = sum(exp_scores) weights = [score / total for score in exp_scores] output = sum(weight * value for weight, value in zip(weights, values)) print([round(weight, 2) for weight in weights]) print(round(output, 2)) for position in range(3): print(position, list(range(position + 1)))
其中 range(position + 1) 恰好得到位置 0 的 [0]、位置 1 的 [0, 1]、位置 2 的 [0, 1, 2]。这个例子是一维，所以缩放因子为 √1＝1，代码没有额外除法。
“图像和序列原本是两条路线。CNN 用共享的小窗口提取局部图像特征；RNN 把状态逐步传给下一项，LSTM 再通过门改善长距离信息保留。翻译任务中的注意力让输出按当前需要回看输入，Transformer 则用注意力承担主要的跨位置交互，并加入位置信息等部件。后来，生成式大语言模型用因果遮罩逐步预测文本，ViT 把图片切块后送进 Transformer。新结构扩大了适用范围，但卷积的局部优势和计算成本仍值得按场景权衡。”
什么时候：图像识别需低延迟、可用数据有限。为什么：卷积自带局部结构假设，常能有效利用像素邻近关系。注意：最终选型仍看实际模型大小、硬件和精度。
什么时候：数据按时刻逐步到达，需要更新内部状态。为什么：循环式模型天然能把前一时刻状态带到下一时刻。注意：极长依赖仍应做实测。
什么时候：某个词需要综合较远处的信息。为什么：注意力可按当前查询汇总可见位置。注意：长输入带来计算与内存压力，还要处理生成时的因果遮罩。
什么时候：要整合图像远处区域，或把图像与文字表示对齐。为什么：ViT 提供块间信息交换，图文对比训练可学习跨模态联系。注意：ViT 与 CLIP 是不同层次的概念，前者是图像结构，后者主要是一种图文训练方案。