李宏毅自注意力机制笔记 (Self-attention)

Self-Attention self-attention 当你输入很多向量时候，然后经过神经网络进行输出结果，self-attention就是对输入的其中某一个向量处理时，让它充分的考虑与其它向量是否存在关系或者关系程度考虑过后再输出。建立关联性的过程就是self-attention。 词性标记场景： 红色框中就是每个单词的向量，如果我们单独把每个单词作为一个向量输入到FC网络中，输出词性，那么第二个saw和第四个saw输出一定是同一个词性，但是很明显第二个saw是动词，第四个saw是名词。那么如何解决

李宏毅老师的网课，以前听了大半，笔记都做在ipad上了，想来还是觉得保存在网络上输出，会更方便温故知新，也更方便保存

李宏毅关于self-attention

【机器学习】李宏毅——自注意力机制(Self-attention)

self-attention，transformer及变形

李宏毅老师机器学习课程笔记

Transformer是一个sequence-to-sequence。也就是input和output都是sequence。而output的sequence，可以是定长的，也可以是和input一样长的，也可能是我们不知道有多长的需要机器自己判别的。例如：语音辨识，声音讯号–>文本，这个场景下的output就是机器自己决定的。机器翻译同理。文本 & 声音讯号互转 案例：中文文字---->台语/闽南语点击精准空降。

目录 介绍 Self-attention 通俗理解 矩阵运算的角度 Multi-head Self-attention 下面以2个头为例 融合位置信息 self-attention 的应用 1. NLP（Transformer 和 Bert···） 2.语音 3.图像 4.图、网络（graph） Self-Attention v.s. CNN self-attention v.s. RNN Self-Attention 的变形 介绍 我根据台大李宏毅21年机器学...

本周学习了自注意力机制，了解了Self-attention的组成结构和有关参数α的计算方法，并且运用了线性代数的方法手动推导了求解输出矩阵的矩阵乘法表示方式，将复杂的问题简单化，更加深入理解了Self-attention的具体机制以及运用方法，最后也将Self-attention与CNN和RNN网络做对比，学习不同方法的优缺点。在师兄的建议下了解了空洞卷积和转置卷积的概念，对部分内容进行了笔算，加深了我对卷积运算的印象。本周进行了理论内容的学习，了解了自注意力机制。

问题引入： 考虑问题：输入一堆词向量，要求输出他们每个单词的词性。例如“ I saw a saw. ”我们可以很明显地看出第二个”saw“为名词，但是若是普通的seq2seq的网络，每个向量单独经过FC层，网络很难判断第一个”saw“和第二个”saw“之间的差异，那么如何才能使网络考虑上下文信息呢？ 第一个解决办法是，将词向量连接到每个邻近的FC层，来获取更多的相关信息。 这种方法相当于给每个FC层一个window的资讯，让其考虑相邻向量之间的信息。但是，这种方法明...

一般用于输入一个序列，经过模型输出一个序列的如上如图所示，在翻译句子词性的时候，要考虑句子上下文的关系？如何将上下文考虑进去？采用self attention机制，将输入的向量，经过变化输出一个考虑上下文的新的向量也可以进行多次self attention。

【深度学习】05-02-自注意力机制多种变形-李宏毅老师21&22深度学习课程笔记

考虑整个 sequence长度的内容 可以多层 self attention叠加 attention is all you need 1, dafada alpha : attention score代表两个输入的关联性 b1~b4并行产生 Muti-head self attention Positional Encoding No position information in self attention each...

在计算attention时主要分为三步， 第一步是将query和每个key进行相似度计算得到权重，常用的相似度函数有点积，拼接，感知机等； 然后第二步一般是使用一个softmax函数对这些权重进行归一化； 最后将权重和相应的键值value进行加权求和得到最后的attention。 目前在NLP研究中，key和value常常都是同一个，即key=value。 ...