吴恩达深度学习——词嵌入

内容来自https://www.bilibili.com/video/BV1FT4y1E74V，仅为本人学习所用。

词表特征

使用 one-hot 对词汇进行编码时，一个缺点是每个词之间彼此是独立的，联系能力不强。如果使用特征化的表示：

有6个关键词“Man”、“Woman”、“King”、“Queen”、“Apple”、“Orange”。在词嵌入空间中，每个词都被表示为一个向量，图中这些词向量在多个维度。例如，在Gender维度上，“Man”取值为 -1 ，“Woman”取值为 1 ，体现了性别差异；“King”在Royal维度上取值为 0.93，“Queen”在Royal维度上取值为 0.95 ，体现了其的皇室属性；“Apple”和“Orange”在Food维度上取值分别为 0.95 和 0.97 ，体现了其的食物属性。

如果有一个300维的词嵌入，使用t-SNE算法可视化到二维空间中，可以看到，一些特征相似的词分布的更近。

词嵌入的类比推理

假设有一个对应任务：男人对应女人，国王对应什么？国王应该对应王后。是否有一种算法来自动推导出这个关系？
在词嵌入空间中，给出这些词的相关系数，在这里，使用$e_{man}$表示man在空间中的位置，其他的类似。如图右下角，$e_{man}-e_{woman}$的结果和$e_{king}-e_{queen}$的结果相似，都与性别有关系。

上述的做法写成式子：$e_{man}-e_{woman}\approx e_{king}-e_{queen}$ ，即“男人”的词向量减去“女人”的词向量，近似等于“国王”的词向量减去“王后”的词向量。公式是 $$\underset{w}{\mathrm{argmax}}sim(e_w,e_{king}-e_{man}+e_{woman})$$$$sim(u,v)=\frac{u^{T}v}{\Vert u{\Vert }_2\Vert v{\Vert }_2}$$表示在给定词嵌入空间中，寻找一个词 $w$ ，使得它的词向量 $e_w$ 与 $e_{king}-e_{man}+e_{woman}$ 的相似度（$sim$ ）最大。在这个类比关系中，通过这样的词向量运算和相似度计算，可以推断出与“king”（国王）相对应的女性角色“queen”（王后）。

$sim$余弦相似度公式中，$\Vert u{\Vert }_2$ 和 $\Vert v{\Vert }_2$ 分别是向量 $u$ 和 $v$ 的 $L_2$ 范数（欧几里得范数），值越接近 1 表示两个向量越相似，即对应的词语在语义上越相近。

嵌入矩阵

词嵌入矩阵E是一个二维矩阵，维度为 10000×300。矩阵的每一行代表一个维度，共 300 维；每一列对应一个单词，这里有 10000 个单词。单词“orange”（序号 6257 ），在词嵌入矩阵中对应一列，表示为$O_{6257}$，即在6257位置上置1。

要获取该单词的词向量，将嵌入矩阵 $E$（10000×300）与一个 one-hot 编码向量 $o_{6257}$ （10000×1 ）相乘，得到单词“orange”的词向量 $e_{6257}$ （300×1 ） 。因此，有$$E\cdot O_i=e_i$$ $O_i$ 是单词 $i$ 的 one-hot 编码，$e_i$ 是单词 $i$ 的词向量。但是在实践中，不会做乘法运算，而是使用专门的函数来单独寻找该列。比如在TensorFlow中，使用使用 keras的 Embedding 层获取对应的词向量。

词嵌入

在早期处理词嵌入时，对于句子“I want a glass of orange ？.”，每个单词都有对应的索引，如“I”对应4343，“want”对应9665等。这些单词首先被转换为 one - hot 编码向量，如$o_{4343}$、$o_{9665}$等。

one - hot 编码向量$o_i$乘以嵌入矩阵$E$，得到对应的词向量$e_i$，如$e_{4343}=E\cdot o_{4343}$。

将得到的词向量输入到后续的神经网络层，经过一系列计算，最后通过Softmax层输出。Softmax层的输出维度为词表大小，预测下一个单词的概率分布。

更常见的是通过固定大小的历史窗口，比如4个大小的窗口（只看前4个单词）。在这个算法下，苹果和橙子学到了相似的嵌入。

经过不断的演变，如果目标是学习一个嵌入向量，那么可以使用不同类型的上下文；目标是建立语言模型，一般选取目标词的前几个词作为上下文。

在句子“I want a glass of orange juice to go along with my cereal.”中：

• 上下文和目标词：图中以“orange”为例，标注了它作为目标词，其上下文可以有多种定义方式。
• 上下文窗口设定：
  • “Context: Last 4 words”表示将目标词前面的 4 个词作为上下文。
  • “4 words on left & right”指目标词左右各 4 个词作为上下文。
  • “Last 1 word”即目标词前面的 1 个词为上下文。
  • “Nearby 1 word”这种方式与跳字模型相关，跳字模型通常是根据一个词预测其附近的词。

Word2Vec

Word2Vec是基于分布式假设，即语义相近的词在文本中出现的上下文相似。通过对大规模文本语料库训练，将每个单词映射为低维实数向量。其中一个主要架构是跳字模型：

跳字模型

在句子“I want a glass of orange juice to go along with my cereal.”中，选取上下文和目标配对，比如选“orange”作为Context，随机在一定距离选另外一个词作为Target。比如“juice”“glass”“my”等。模型会根据“orange”这个词去预测这些在其附近出现的词。通过大量这样的训练样本，模型能够学习到词语之间的语义关系，并生成有效的词嵌入向量，使得语义相近的词在向量空间中位置接近。

模型细节

词表大小（Vocab size）为10,000，即模型处理的词汇量为10,000个单词。

上下文词（Context）：“orange”，其索引为6257。目标词（Target）：“juice”，索引为4834。

计算过程是：给定一个词，将这个词的one - hot编码计算词向量，再经过softmax得到预测值用于预测这个词左侧或者右侧跳过几个词后的某一个词应该是什么。

1. 词嵌入：上下文词的 one - hot 编码$o_c$乘以嵌入矩阵$E$，得到上下文词的词向量$e_c$，即$e_c=E\cdot o_c$。
2. Softmax层计算：将词向量$e_c$输入到Softmax层，计算在给定上下文词$c$的情况下，目标词$t$出现的概率$p(t|c)$。计算公式为$p(t|c)=\frac{e^{{\theta }_t^T{e}_c}}{{\sum }_{j=1}^{10000}{e}^{{\theta }_j^T{e}_c}}$，其中${\theta }_t$是与目标词$t$相关的参数。
3. 损失函数：使用交叉熵损失函数$L(\hat{y},y)=-{\sum }_{i=1}^{10000}{y}_i\log {\hat{y}}_i$来衡量预测概率$\hat{y}$与真实标签$y$之间的差异。真实标签$y$是一个 one - hot 编码向量，对应目标词“juice”的位置为1，其余位置为0。

在计算$p(t|c)$时，分母的求和会消耗大量的时间，使用负采样进行优化。

负采样

对这样一个句子，假设选取context词为"orange"，在该词的句子上下文中另外选择一个word，比如"juice"，橙子汁是有关联的，将target手动标记为1，是一个正样本。在词表中随机又选了一个词"king"（不一定是上下文），"orange"与"king"关联不大，标记为0，是一个负样本…每组中，第一个是正样本，剩下的k个是负样本。算法将 $context-word$ 对作为$x$输入，将$target$作为$y$输出。算法要学习如何分辨是正样本还是负样本，这样，生成了一个训练集。

k的取值是：若数据集较大，k值建议在2-5；若数据集较小，k值建议在5-20。

采用负采样的方法，公式变为$P(y=1|c,t)=\sigma ({\theta }_t^T{e}_c)$ ，${\theta }_t$ 是与目标词 $t$ 相关的参数向量，$e_c$ 是上下文 $c$ 的词向量。

以“orange”（索引为6257 ）为例：

1. 首先将其 one-hot 编码 $o_{6257}$ 乘以嵌入矩阵 $E$ ，得到词向量 $e_{6257}$ 。
2. 然后通过计算 ${\theta }_t^T{e}_{6257}$ 并经过sigmoid函数，判断当前词（如“juice”“king”等，词表大小为10000 ）是否为“orange”合理的上下文相关词（即判断是否为正样本）。如果是正样本，$y=1$；如果是负样本，$y=0$ 。这个过程用于训练模型区分正样本（语义相关词）和负样本（语义无关词）。之前的公式是计算整整一万个分类，而采用负采样后，只计算一个正样本和k个负样本。

GloVe词向量（了解）

GloVe是另一个词嵌入的方式。定义$x_{ij}$是词$i$在词$j$中出现的次数，如果上下文和目标词的范围在其左右各10个词之内，有对应关系$x_{ij}=x_{ji}$；如果上下文的范围是目标词的前一个，就没有此对应关系。在该算法中，定义上下文和目标词是任意两个位置相近的单词，假设是左右各10词的距离，公式是

GloVe：$$J=\sum _{i=1}^V\sum _{j=1}^{V}f(X_{ij})({\theta }_i^T{e}_j+b_i+b_j^{\prime }-\log X_{ij}{)}^2$$

• $V$：表示词表的大小，即词表中单词的总数。
• $X_{ij}$：表示单词 $j$ 在单词 $i$ 的上下文中出现的次数。反映了单词之间的共现关系。
• $f(X_{ij})$：是一个加权函数，作用是调整不同共现次数的权重。当 $X_{ij}=0$ 时，$f(X_{ij})=0$，这避免了对没有共现关系的单词对进行不必要的计算，同时也防止了 $\log 0$ 这种无定义的情况出现。一般来说，对于共现次数较少的单词对给予较高的权重，对于共现次数较多的单词对适当降低权重，以平衡不同频率单词对的影响。
• ${\theta }_i$ 和 $e_j$：是待学习的词向量参数。${\theta }_i$ 可以看作是单词 $i$ 作为上下文词时的向量表示，$e_j$ 是单词 $j$ 作为目标词时的向量表示 。通过训练不断调整，使得模型能够捕捉到单词之间的语义关系。
• $b_i$ 和 $b_j^{\prime }$：分别是与单词 $i$ 和单词 $j$ 相关的偏置项，用于对模型的预测进行微调。

该公式定义了一个需要最小化的损失函数 $J$ 。通过最小化这个损失函数，模型可以学习到合适的词向量 ${\theta }_i$ 和 $e_j$ 以及偏置项 $b_i$ 和 $b_j^{\prime }$ 。GloVe模型基于单词共现矩阵，利用这个公式来拟合单词之间的共现概率关系，得到能够反映单词语义信息的词嵌入向量，使得语义相近的单词在向量空间中的距离较近。

情绪分类

情绪分类任务是看一段文本，分辨这个人是否喜欢他们讨论的内容。

因为可标记的训练集没那么多，所以采用词嵌入能够带来更好的效果。将每个单词的 one-hot 编码（如$o_{8928}$、$o_{2468}$等）乘以嵌入矩阵$E$，得到对应的词向量（如$e_{8928}$、$e_{2468}$等），这里词向量维度为300维，然后把所有词向量进行平均操作（将所有单词的意思平均起来），得到一个综合的文本特征向量，继续综合特征向量输入Softmax层，输出1 - 5星级的情感评分（$\hat{y}$），判断文本的情感倾向，这里星级越高表示情感越积极。

但是该算法有个缺点：没考虑词序。比如下面一段话，good出现了很多次，但是意思确实完全相反的。该算法会认为这个人给了个好评。

考虑词序问题，可以使用RNN。将RNN用于情感分类的循环神经网络，属于多对一的结构。

句子“Completely lacking in good… ambience”中的每个单词（如“Completely”“lacking”等），首先通过嵌入矩阵$E$转换为对应的词向量（如$e_{1852}$、$e_{4966}$等）。词嵌入将单词映射为低维实数向量，以捕捉单词语义信息。

在RNN部分，RNN初始隐藏状态$a^{<0>}$ 。对于每个时间步，当前单词的词向量输入到RNN中，与上一个时间步的隐藏状态一起计算得到当前时间步的隐藏状态。例如，$e_{1852}$与$a^{<0>}$参与计算得到$a^{<1>}$，以此类推。这种结构使得RNN能够处理序列数据，并捕捉序列中的上下文信息。

最后一个时间步的隐藏状态$a^{<10>}$输入到Softmax层，Softmax层将其转换为情感分类的概率分布，输出预测的情感类别$\hat{y}$ 。