关于算法:Transformer相关

架构图

留神点

第一个点 为什么要用 scaled attention

https://blog.csdn.net/qq_3743…

1. Q,K 的维度越高，QK 的内积方差越大。
2. QK 的内积方差越大，softmax 后，会呈现有的维度靠近 1，其余靠近 0，的景象，这种状况下，梯度是最低的，靠近 0，学习效率低。

第二个点 Multi-Head Attention