【工程师分享】一张图概略了解Transformer

作者:HankFu,本文转载自:博客园

最近两年,Transformer在NLP、CV领域都取得了非常好的成绩。结合相关文章,Transformer的底层也是矩阵运算。使用FPGA加速,也会取得很好的效果。

下面这张图,描述了Transformer的所有运算。由于尺寸太大,不能显示,可以下载。
一张图概略了解Transformer

分成两张图后,第一张图展示Transformer的主要运算,第二张图展示使用Transformer的主要网络。

Transformer的主要运算:

Transformer的主要网络:

最新文章