2021李宏毅机器学习笔记--20 ELMO、BERT、GPT

摘要

机器是如何理解我们的文字的呢？或者说人类是怎么把文字输入电脑的呢？本文主要介绍三种技术ELMO、BERT、GPT。ELMO是一个RNN-based的语言模型，有些词可能有不同的意思，使用word embedding的方法，一个词只针对一种embedding，而ELMO会针对一个词不同的意思给出不同的embedding，其任务是学习句子中的下一个单词或者前一个单词是什么。BERT所做的事就是丢一个句子进去BERT，BERT会针对每个句子给出一个embedding。训练BERT有两种方法，一种是随机把一些单词变为Mask，让模型去猜测盖住的地方是什么单词，另一种是预训练任务NSP，即判断句子B是否是句子A的下文。ERNIE是BERT优化，是专门为中文设计的，中文中如果单纯的遮盖某一个字，很容易猜出来，所以ERNIE是遮盖中文中的一个词。GPT是一个硕大无朋的语言模型，GPT的主要作用就是给他一个词汇，它可以预测接下来的词汇。

一、背景介绍

最早的技术是1-of-N encoding，把每一个词汇表示成一个向量，每一个向量都只有一个地方为1，其他地方为0。但是这么做词汇之间的关联没有考虑，因为不同词之间的距离都是一样的。
所以，接下来有了word class的概念，举例说dog、cat和bird都是动物，它们应该是同类。但是动物之间也是有区别的，如dog和cat是哺乳类动物，和鸟类还是有些区别的。
后来有了更进阶的想法，称作word embedding，我们用一个向量来表示一个单词，相近的词汇距离较近，如cat和dog。

但是，有时候一个词可能有很多个不同的意思，比如下图的bank，前两个意思是银行，后两个意思是河堤。

即使一个单词有不同的意思，但使用传统的word embedding的方法，相同的单词都会对应同样的embedding。但我们希望针对不同意思的bank，可以给出不同的embedding表示。

根据上下文语境的不同，同一个单词bank我们希望能够得到不同的embedding，如果bank的意思是银行，我们期望它们之间的embedding能够相近，同时能够与河堤意思的bank相距较远。

基于这个思想，首先有了下面的ELMO。

二、ELMO

ELMO是Embeddings from Language Model的简称，它是一个RNN-based的语言模型，其任务是学习句子中的下一个单词或者前一个单词是什么。

它是一个双向的RNN网络，这样每一个单词都对应两个hidden state，进行拼接便可以得到单词的Embedding表示。当同一个单词上下文不一样，得到的embedding就不同。
当然，我们也可以搞更多层：

这么多层的RNN，内部每一层输出都是单词的一个表示，那我们取哪一层的输出来代表单词的embedding呢？ELMO的做法就是全都要：
在ELMO中，一个单词会得到多个embedding，对不同的embedding进行加权求和，可以得到最后的embedding用于下游任务。要说明一个这里的embedding个数，下图中只画了两层RNN输出的hidden state，其实输入到RNN的原始embedding也是需要的，所以你会看到说右下角的图片中，包含了三个embedding。

但不同的权重是基于下游任务学习出来的，上图中右下角给了5个不同的任务，其得到的embedding权重各不相同。

三、BERT

Bert是Bidirectional Encoder Representations from Transformers的缩写，中文意思就是来自于转换器的双向编码表示。Transformer中的Encoder就是B