注意力残差机制的核心原理

• 标准残差连接的局限：在标准Transformer中，第t层的输出 Y_t 会与当前层输入 X_{t-1} 相加，作为下一层的输入 X_t。数学上可以推导出，X_t 等于从嵌入层开始到第t层所有输出的等权求和（Y_0 + Y_1 + ... + Y_t）。这意味着模型平等地看待每一层的历史贡献，缺乏动态筛选和加权的能力。

• 注意力残差的创新：注意力残差机制摒弃了简单的等权相加，改为对过去所有层的输出 {Y_0, Y_1, ..., Y_t} 进行加权求和，权重通过一个注意力机制动态计算得出。这允许模型根据当前层的具体需求，决定更依赖哪一层的特征表示。

• 具体计算过程：
1. 查询（Q）：模型为每一层（甚至细化到注意力子层和MLP子层）维护一个独立的、与输入无关的查询向量 Q。
2. 键与值（K, V）：键 K 是过去所有层输出经过标准化（如RMSNorm）后的结果；值 V 是过去所有层的原始输出。
3. 注意力计算：使用当前层的 Q 与所有历史层的 K 计算点积，经过Softmax后得到一组权重 α。这组权重衡量了每一历史层输出对当前层的重要性。
4. 加权融合：用权重 α 对历史层的原始输出 V 进行加权求和，其结果作为当前层的输入 X_t。
5. 状态更新：当前层计算得到新输出 Y_t 后，将其加入历史输出列表，供后续层使用。

块状注意力残差：一种显存友好的优化

• 分块策略：将模型的全部层划分为若干个连续的“块”。

• 混合连接：在每个块内部，层与层之间依然使用标准的残差连接，保持计算效率。而在不同的块之间，则采用注意力残差连接。即，一个块的输入是由之前所有块的输出经过注意力加权求和得到的。

• 优势：这种方法显著减少了需要缓存的历史状态数量（从层数降为块数），在保持注意力残差核心优势的同时，大幅降低了显存消耗，使其更具工程可行性。

从公式视角理解其演进

1. 标准残差：X_t = Σ_{i=0}^{t} Y_i （等权求和，权重均为1）。

2. 注意力残差：X_t = Σ_{i=0}^{t-1} α_i * Y_i，其中 Σα_i = 1 且 α_i >= 0。

代码实现与集成方案

• 核心修改点：
1. 初始化：为每一层（或子层）初始化其独立的查询向量 Q 和用于标准化的层（如RMSNorm）。
2. 状态维护：在模型前向传播时，动态维护一个列表，用于存储所有历史层的输出 Y。
3. 前向计算：在解码器层中，接收两个输入：上一层的输出（当前层输入）和历史输出列表。按照前述流程图，计算注意力加权和作为本子层的实际输入。计算完成后，将本子层的新输出追加到历史列表中。

• 集成示例：以包含自注意力层和MLP层的解码器块为例：
• 首先，使用自注意力子层的 Q 对历史输出加权，得到自注意力层的输入。
• 自注意力层计算后，将其输出加入历史列表。
• 接着，使用MLP子层的 Q 对更新后的历史列表再次计算加权和，作为MLP层的输入。
• MLP层计算后，将其输出作为本解码器层的最终输出，并传递至下一层。

初步实验与效果验证

• 实验设置：在一个修改后的模型架构上，使用有限的数据量和训练步数进行训练。

• 观察结果：
1. 训练稳定性：从损失曲线来看，模型能够正常收敛，表明注意力残差机制本身不会导致训练发散。
2. 推理测试：在简单的问答测试中，模型能给出基本正确的回应（如“我是一个计算机程序员”）。但在生成长文本时，出现了重复输出的过拟合现象，这主要归因于训练数据严重不足，而非机制本身的设计缺陷。

• 结论：初步实验证明，注意力残差机制在工程上是可实现的，并且能保证训练过程的稳定性。其在大规模数据下的性能提升潜力，仍有待于更充分、更严格的实验来验证。

总结