让我们看看新机制是怎样工作的。传统的残差连接的公式如下。我们用图书馆的例子来理解。假设你在写论文需要查阅资料，你只能看前一读者留下的笔记。如果前面有100个人，你只能看到最后一个人的笔记，而无法直接查阅前99个人的原始记录。而新方法则是，你拿到了一个研究问题，从图书馆的100篇文献里面计算自己的问题与每篇文献的相关性，再用softmax把相关性转化成概率分布，最后相关性高的文献就引用的多，相关性低的就引用的少。因此，新的注意力残差公式如下。接下来让我逐个符号解释。i从0到L-1代表之前所有的层，V_i是第i层的输出，α_{i到L}是从第i层到第L层的注意力权重。这些权重不是固定的，而是学出来的。我们来看权重是怎么算的。Q_L = W_L，第L层的查询向量，这是一个可学习的参数，代表这一层想找什么信息。K_i = V_i，第i层的键向量，代表了第i层的输出，这一层有什么信息。举个例子，假设第50层在计算，它需要参考之前的信息。传统的方法只能看第49层的输出，而新方法可以同时看第0层到第49层共50个来源。可能发现第二层的特征特别相关，那就给它0.8的权重，第十层可能也有些用给0.1的权重，第49层给0.1的权重。这样第二层的重要信息就不会被中间的47层所稀释。