Transformer & BERT 详解第1篇（共4篇）

本系列文章围绕以下几个主题来详细解读Transformer和BERT的原理和发展

• Transformer 模型详解
• Transformer在CV,NLP,推荐系统的发展与应用
• BERT模型详解
• BERT最新发展与应用

更多内容请关注公众号：AliceWanderAI

本篇文章：Transformer模型详解

1. 整体结构
2. Encoder
3. Decoder
4. Positional Encoding
5. Self Attention
6. Add & Norm

1. 整体结构

Transformer主要由两大部分组成：Encoder & Decoder.

Encoder-Decoder模型可以基于CNN/RNN来构建。而Transformer是完全采用Self Attention机制来构建Encoder-Decoder模型结构的。

如下图所示。左边是Encoder的结构，它将输入Inputs 映射成隐藏层的输出，隐藏层的输出作为Decoder的输入的一部分，再解码成为自然语言序列。

2. Encoder

由Figure1 可以看出，Encoder的构件包括：

• Input Embedding
• Posit