m0_63997099的博客

因此，在Decoder中，输入主要是基于到目前为止已经生成的输出序列（加上位置信息），而这些输入通过Decoder的多层结构进行处理，每层都包括掩蔽自注意力、编码器-解码器自注意力和前向馈网络，以生成最终的输出序列。这种结构设计使得Transformer能够在考虑到整个输入序列的上下文的同时，逐步构建输出序列。

文章目录一、Attention原理核心点1、Self-Attentiona.核心原始形态b.self-Attention使用相同的矩阵是否可行？2、常见的注意力机制1. 自注意力机制（Self-Attention）2. 多头注意力（Multi-Head Attention）3. 序列到序列的注意力（Seq2Seq Attention）4. 点积注意力（Dot-Product Attention）5. 加性注意力（Additive Attention）或串联注意力（Concat Attention）6. 卷积