1.1. 缩放点积注意力（Scaled Dot-Product Attention）

（1）核心公式：$\text{Attention}(Q,K,V) = softmax\left(\frac{Q K^{T}}{\sqrt{d_{k}}}\right) V$

$Q \in \mathbb{R}^{n \times d_k}$ ：查询矩阵， $n$ 为序列长度， $d_k$ 为Q/K的维度，代表当前token的特征表示； $K \in \mathbb{R}^{m \times d_k}$ ：键矩阵， $m$ 为键值序列长度（自注意力中 $m=n$ ），代表所有token的特征表示； $V \in \mathbb{R}^{m \times d_v}$ ：值矩阵， $d_v$ 为V的维度（通常 $d_k=d_v$ ），是注意力权重的加权对象； $\frac{1}{\sqrt{d_k}}$ ：缩放因子，解决 $d_k$ 过大时， $QK^T$ 内积值爆炸导致softmax输出趋近于one-hot、梯度消失的问题； $softmax(\cdot)$ ：对 $QK^T/\sqrt{d_k}$ 的行向量做归一化，将注意力得分转化为0-1的权重，保证所有token的注意力权重和为1；

（2）核心逻辑：通过Q与K的相似度计算注意力权重，再用权重对V加权求和，实现对上下文的自适应关注。

（3）注意力得分与注意力图：

• 中间结果 $\frac{Q K^{T}}{\sqrt{d_k}}$ 为注意力得分矩阵，其元素 $(i,j)$ 代表第 $i$ 个token对第 $j$ 个token的关注程度；
• 如指代消解案例所示：The Law will never be perfect but its application should be just中，its的注意力头会高度关注Law，注意力图中对应位置权重接近1，体现注意力机制捕捉长距离语义关联的能力。

1.2. 多头注意力（Multi-Head Attention, MHA）

（1）实现步骤与公式

• 对Q/K/V做线性映射：通过 $h$ 组独立的可学习权重矩阵 $W_i^Q \in \mathbb{R}^{d_{model} \times d_k}$ 、 $W_i^K \in \mathbb{R}^{d_{model} \times d_k}$ 、 $W_i^V \in \mathbb{R}^{d_{model} \times d_v}$ ，将原始特征（维度 $d_{model}$ ）映射为 $h$ 组低维Q/K/V：$Q_i = Q W_i^Q, \quad K_i = K W_i^K, \quad V_i = V W_i^V \quad (i=1,2,...,h)$

• 每组独立计算缩放点积注意力：$\text{head}_i = \text{Attention}(Q_i,K_i,V_i) = softmax\left(\frac{Q_i K_i^T}{\sqrt{d_k}}\right) V_i$

• 拼接所有头的结果并做最终线性映射：$\text{MultiHead}(Q,K,V) = \text{Concat}(\text{head}_1,...,\text{head}_h) W^O$ 其中 $W^O \in \mathbb{R}^{h d_v \times d_{model}}$ 为输出映射矩阵，将拼接后的特征还原为 $d_{model}$ 维度。

（2）核心作用：将注意力机制拆分为 $h$ 个独立的注意力头，每个头捕捉不同类型的上下文关联（如局部语义、长距离依赖、词法关联），拼接后实现特征的多维度融合，提升模型表达能力。

1.3. 原始Transformer整体架构

由编码器（Encoder）和解码器（Decoder）组成，均为Nx层堆叠，核心组件为「多头注意力 + 前馈网络（FFN） + 残差连接 + Add&Norm」，解码器额外包含掩码多头注意力（Masked MHA）：

• 掩码多头注意力：对注意力得分矩阵的上三角部分置为-∞，使softmax后权重为0，防止模型预测第 $i$ 个token时看到第 $i+1$ 及之后的未来token；
• 位置编码（Positional Encoding）：与词嵌入相加后作为模型输入，解决Transformer并行计算导致的位置信息丢失问题（本讲核心重点）；
• 词嵌入（Input Embedding/Output Embedding）：将离散token映射为连续的 $d_{model}$ 维特征向量；
• 前馈网络FFN： $FFN(x) = \max(0, x W_1 + b_1) W_2 + b_2$ ，为单隐层全连接网络，实现特征的非线性变换。

2.1. 核心原因

• Transformer的自注意力机制是并行计算，对序列中token的处理无先后顺序，仅通过词嵌入无法区分token的位置信息（如cute teddy bear和teddy bear cute语义完全不同，但词嵌入的集合完全一致）。
• 以a cute teddy bear is reading为例：若仅用词嵌入 $V_{cute}、V_{teddy bear}、V_{reading}$ ，模型无法判断token的先后顺序，会出现teddy bear I teddy bear的错误关联，因此必须为词嵌入添加位置信息。

2.2. 绝对位置编码（第一代）

2.3. 相对位置编码（第二代）

硬编码嵌入本质是绝对位置编码，而自然语言中相对位置比绝对位置更重要。因此后续研究直接修改注意力层，让模型显式捕捉相对位置。

3.1. 基础概念

（1）计算过程：给定一个 $d$ 维特征向量 $x = [x_1, x_2, ..., x_d]^T$ ，层归一化的计算过程为：

• 计算特征向量的均值： $\mu = \frac{1}{d} \sum_{i=1}^d x_i$
• 计算特征向量的方差： $\sigma^2 = \frac{1}{d} \sum_{i=1}^d (x_i - \mu)^2$
• 标准化： $\hat{x} = \frac{x - \mu}{\sqrt{\sigma^2 + \epsilon}}$ ，其中 $\epsilon \approx 10^{-5}$ 为极小值，防止分母为0；
• 缩放和平移： $LN(x) = \gamma \hat{x} + \beta$ ，其中 $\gamma \in \mathbb{R}^d$ 、 $\beta \in \mathbb{R}^d$ 为可学习的参数，保留模型的表达能力。

（2）特点：与批归一化（BN）不同，LN对每个样本的特征维度做归一化，而非对批次内的所有样本做归一化，因此不受批次大小影响，适配小批次训练；适用于NLP的序列数据，解决BN在序列任务中的局限性。

（3）作用：让每一层的输入分布保持稳定，避免因网络深度增加导致的特征分布漂移；缓解梯度消失/爆炸问题，加速模型收敛；提升模型的泛化能力。

3.2. 核心类型

Transformer中所有层都包含残差连接： $x + \text{SubLayer}(x)$ （SubLayer为多头注意力或FFN），LN的位置决定了归一化的类型，按残差连接位置可划分为Post-Norm和Pre-Norm两种方案。

Pre-Norm解决了Post-Norm的深层训练问题，是目前所有Transformer类模型的默认选择。

（1）Post-Norm（后归一化）

• 位于残差连接之后，输出结果为$\text{Output} = \text{LayerNorm}(x + \text{SubLayer}(x))$。
• 作为原始Transformer使用，缺点是深层模型训练不稳定，易梯度消失；需要精心调参（如学习率、初始化），只能应用于早期Transformer、小模型。

图3 后归一化流程图

（2）Pre-Norm（前归一化）

• 位于残差连接之前，输出结果为$\text{Output} = x + \text{SubLayer}(\text{LayerNorm}(x))$。
• 作为目前主流方案，优点是训练稳定性极强，适配深层模型；无需精细调参；收敛速度更快，广泛应用于大语言模型（GPT、LLaMA）、BERT变体。

图4 前归一化流程图

3.3. 轻量化优化：RMSNorm

由《Root Mean Square Layer Normalization》提出，是Pre-Norm的轻量化改进版，移除了均值归一化，仅保留方差归一化，大幅减少计算量。

（1）核心公式：

• 将LN的 $\gamma \hat{x} + \beta$ 简化为：$\text{RMSNorm}(x) = \gamma \cdot \frac{x}{\text{RMS}(x)}$
• 其中均方根（RMS）的计算为：$\text{RMS}(x) = \sqrt{\frac{1}{d} \sum_{i=1}^d x_i^2}$

（2）优势：移除均值计算，减少约50%的计算量，提升推理速度；保留LN的训练稳定性和收敛速度；无额外参数，仅保留缩放参数 $\gamma$ 。

（3）应用：GPT-3、LLaMA、Mistral等大语言模型均使用RMSNorm，是工业界的主流优化方案。

4.1. 稀疏注意力：局部注意力+全局注意力

（1）核心思路：将稠密的全注意力矩阵改为稀疏矩阵，让每个token仅关注局部窗口内的token（局部注意力），同时为特殊token（如 [CLS] ）保留全局注意力，兼顾局部语义和全局信息，计算复杂度降至 $O(n d_{model} \cdot w)$ （ $w$ 为窗口大小，远小于 $n$ ）。

（2）滑动窗口注意力（SWA, Sliding Window Attention）

• 核心逻辑：为每个token设置一个固定大小的局部窗口 $w$ ，每个token仅关注自身前后 $w/2$ 个token，形成滑动窗口式的局部注意力；
• 类比：类似计算机视觉中的卷积感受野（Receptive Field），每个token只能看到局部范围内的上下文，窗口大小对应感受野大小；
• 应用：Longformer（长文档Transformer）、Mistral 7B（窗口大小8192）、GPT-4（滑动窗口扩展）。

（3）Longformer的稀疏注意力设计

• 对普通token：使用滑动窗口局部注意力；
• 对特殊token [CLS] ：使用全局注意力，可关注整个序列的所有token，用于序列级分类任务；
• 支持局部-全局注意力层交错堆叠，进一步提升模型的长距离捕捉能力。

4.2. 注意力头共享：MQA/GQA

（1）核心思路：在多头注意力中，共享Key/Value头，减少K/V的参数数量和计算量，仅保留Query头的多样性，是效率与效果的折中方案。

（2）原始多头注意力（MHA, Multi-Head Attention）

• 设计： $h$ 个Query头 → 对应 $h$ 个Key头 + $h$ 个Value头，无共享；
• 参数：K/V的参数数量为 $2 \times h \times d_{model} \times d_k$ ；
• 特点：效果最好，参数最多，计算量最大。

（3）多查询注意力（MQA, Multi-Query Attention）

• 设计： $h$ 个Query头 → 共享1个Key头 + 1个Value头（ $G=1$ ， $G$ 为分组数）；
• 参数：K/V的参数数量为 $2 \times 1 \times d_{model} \times d_k$ ，参数量降至MHA的 $1/h$ ；
• 特点：效率最高，计算量最小，效果略有下降。

（4）分组查询注意力（GQA, Group-Query Attention）

• 设计：将 $h$ 个Query头分为 $G$ 组，每组共享1个Key头 + 1个Value头（ $1<G<h$ ， $G$ 为分组数）；
• 参数：K/V的参数数量为 $2 \times G \times d_{model} \times d_k$ ，介于MHA和MQA之间；
• 特点：目前主流方案，在效率和效果之间取得最优平衡，如GPT-3、PaLM均使用GQA。

图5 注意力头共享

三大分类核心对比表

核心概念：交叉注意力（Cross-Attention）——仅存在于Encoder-Decoder架构中，解码器的交叉注意力层以解码器的Q为查询，以编码器的K/V为键值，让解码器关注源文本的上下文信息，是机器翻译、摘要等任务的核心。

6.1. 核心定义与特点

（1）定义：BERT——Bidirectional Encoder Representations from Transformers（基于Transformer的双向编码器表示）；

（2）架构：仅使用Transformer的编码器部分，堆叠多层双向自注意力；

（3）特点：真正的双向上下文理解，与Decoder-only模型的单向注意力形成本质区别（Decoder-only仅能关注前文，BERT可同时关注前文和后文）；

（4）对比ELMo：ELMo（2018.2）是基于RNN的双向语言模型，属于特征基方法；BERT（2018.10）是基于Transformer的双向模型，属于微调基方法，性能远超ELMo，实现NLP任务的全面SOTA。

6.2. 核心训练范式：预训练（Pretraining）+ 微调（Finetuning）

（1）核心逻辑：

• 预训练：在大规模无标注文本语料（如维基百科、BookCorpus）上，通过代理任务训练模型，让模型学习通用的语言知识（词汇、语法、语义、上下文关联），得到预训练模型权重；
• 微调：在小批量有标注任务数据上，**冻结预训练模型的大部分权重，**仅微调顶层的任务专属分类层，快速适配具体的下游任务。

（2）范式优势：

• 微调仅需少量标注数据，解决NLP任务标注数据稀缺的问题；
• 预训练的通用语言知识可迁移到不同的下游任务，提升模型的泛化能力；
• 实现端到端的任务适配，无需手动设计特征。

6.3. 预训练：两大核心代理任务

预训练的核心是无监督学习，通过代理任务让模型学习语言规律，BERT有两个核心代理任务：掩码语言模型（MLM）和下一句预测（NSP）。

6.4. 输入处理：分词+特殊标记

BERT的输入需要经过严格的预处理，包括分词和特殊标记添加，是模型能处理各种任务的基础。

（1）分词算法：WordPiece

• 核心：子词分词，将单词拆分为子词（如unhappiness→un+happiness），兼顾词汇的完整性和未登录词（OOV）的处理；
• 预训练：在大规模语料上预先训练分词器，词汇量约30000；
• 优势：擅长识别常见语素/粒子，解决未登录词问题，减少词汇量，提升模型的泛化能力。

（2）输入序列的特殊标记：为适配MLM和NSP任务，BERT为输入序列添加4种特殊标记，规则固定：

• $[CLS]$ ：分类标记，添加在序列最开头，其对应的隐藏层表示作为整个序列的聚合特征，用于序列级分类任务（如情感分析）；
• $[SEP]$ ：分隔标记，添加在两个句子之间/序列末尾，用于分隔不同的句子段（适配NSP任务）；
• $[MASK]$ ：掩码标记，用于MLM任务，标记被遮蔽的token；
• $[PAD]$ ：补全标记，用于将不同长度的序列补全到固定长度（如512），适配批量计算，补全部分的注意力权重会被置为0。

输入序列示例:

• 单句输入（情感分析）： $[CLS]$ this teddy bear is so cute $[SEP]$ $[PAD]$ … $[PAD]$
• 句子对输入（NSP/问答）： $[CLS]$ what is a teddy bear $[SEP]$ it is a cute toy $[SEP]$ $[PAD]$ … $[PAD]$

6.5. 输入嵌入层：三嵌入相加

BERT的输入嵌入由三部分向量相加组成，最终得到位置和段感知的嵌入向量，维度均为 $d_{model}=768$ （BERT-Base），是模型的输入层核心。

$\text{Input Embedding} = \text{Word Embedding} + \text{Positional Encoding} + \text{Segment Encoding}$

(1) 词嵌入（Word Embedding）

• 类型：可学习的查找表（Lookup Table）；
• 维度： $V \times d_{model}$ （ $V≈30000$ 为词汇量）；
• 作用：将离散的token映射为连续的 $d_{model}$ 维特征向量，捕捉词汇的语义信息。

（2）位置编码（Positional Encoding）

• 类型：硬编码的三角函数位置嵌入；
• 作用：捕捉token在序列中的位置信息，解决Transformer的位置丢失问题。

（3）段嵌入（Segment Encoding）

• 类型：可学习的嵌入向量，仅包含两个向量（对应句子A和句子B）；
• 作用：区分不同的句子段，适配NSP任务（单句输入时，所有token均使用同一个段嵌入）。

（4）核心特点：三嵌入逐元素相加，而非拼接，保证嵌入维度不变，同时融合词汇、位置、段三种信息，为后续的编码器提供丰富的输入特征。

6.6. 模型规模与超参数

BERT的模型规模由三层超参数决定：编码器层数 $L$ 、隐藏层维度 $H$ 、注意力头数 $A$ 。6种不同规模的BERT模型，参数数量从4M到340M不等，BERT-Base和BERT-Large为实际应用中的主流版本。

6.7. 微调：以情感分析为例

微调是BERT适配下游任务的核心步骤，以情感分析（积极/消极分类）为例阐述BERT微调的全流程，该流程可通用到所有序列分类任务（如文本分类、情感分析、文本匹配）。

（1）核心步骤（共6步）

图7 BERT微调流程

1. 输入构造：在情感分析句子前添加 $[CLS]$ ，末尾添加 $[SEP]$ ，用 $[PAD]$ 补全到固定长度（如512），得到标准输入序列：

   $[CLS] \text{this teddy bear is so cute} [SEP] [PAD] ... [PAD]$

2. 嵌入层计算：计算词嵌入+位置编码+段嵌入，得到三嵌入相加的输入特征向量，维度为 $n \times 768$ （ $n$ 为序列长度）；

3. 编码器编码：将输入特征向量送入预训练的BERT编码器，经过12层（BERT-Base）双向自注意力和FFN的处理，得到所有token的隐藏层表示，维度为 $n \times 768$ ；

4. 聚合序列特征：取 $[CLS]$ 标记对应的隐藏层表示 $h_{[CLS]} \in \mathbb{R}^{768}$ ，作为整个序列的聚合特征，该特征融合了整个句子的双向上下文信息；

5. 分类层设计：在 $h_{[CLS]}$ 后添加一个简单的前馈网络（FFN），作为任务专属的分类层：$\hat{y} = \text{softmax}(h_{[CLS]} W_c + b_c)$

   其中 $W_c \in \mathbb{R}^{768 \times 2}$ 、 $b_c \in \mathbb{R}^2$ 为分类层的可学习参数，2为情感分析的类别数（积极/消极）；

6. 微调训练：冻结BERT编码器的大部分权重（可选择冻结前 $L-2$ 层，仅微调后2层）；仅训练分类层和编码器顶层的少量权重；使用交叉熵损失作为损失函数，用小批量有标注数据进行端到端训练。

（2）核心技巧

• 冻结早期层：早期层捕捉通用的语言知识（如词汇、语法），冻结后可减少计算量，提升训练速度，同时避免过拟合；
• 学习率调整：预训练模型的学习率远小于分类层的学习率（如编码器学习率 $2e-5$ ，分类层学习率 $1e-3$ ），避免破坏预训练的通用知识；
• 批量大小：使用小批量（如16/32）训练，提升模型的泛化能力。

6.8. 优势与局限性

（1）核心优势

1. 实现了所有NLP理解类任务的SOTA性能，开启了NLP的预训练时代；
2. 生成真正的双向上下文相关词表示，解决了传统词嵌入（如Word2Vec、GloVe）的一词多义问题；
3. 预训练+微调的范式可通用到所有NLP理解类任务，无需手动设计特征；
4. 微调仅需少量标注数据，数据效率极高，解决了NLP任务标注数据稀缺的问题。

（2）主要局限性

1. 无文本生成能力：仅编码器架构，双向自注意力无法实现自回归生成，不适合文本续写、对话等生成类任务；
2. 上下文窗口有限：原始BERT的最大序列长度为512，无法处理长文档（如论文、书籍）；
3. 计算成本高：稠密双向自注意力的计算复杂度为 $O(n^2 d)$ ，推理速度慢，不适合低延迟/高并发的工业场景；
4. 训练范式复杂：需要先进行MLM/NSP预训练，再进行下游任务微调，流程繁琐，且NSP任务后续被证明对性能提升有限。

6.9. BERT的经典变体

为解决原始BERT的局限性，研究者提出了多种BERT变体，如高效型变体DistilBERT和性能型变体RoBERTa，分别从效率和性能两个维度优化BERT。