word2vec的负采样算法

Word2Vec是一种流行的词嵌入技术，特别是用于生成密集向量表示单词的神经网络模型。其中一个关键的学习算法是CBOW（Continuous Bag of Words，连续词袋模型）和Skip-gram模型。在训练过程中，负采样是一个重要的优化技术，用于改进模型效率并降低计算复杂度。 **负采样**的工作原理如下： 1. **目标预测**: Word2Vec的目标是学习一个词与它的上下文中其他词之间的关系。比如在Skip-gram模型中，给定一个中心词，模型需要预测其周围的上下文词。 2. **正样本对**: 模型通常会随机选择一小部分真正的上下文词作为正样本对，因为它们在原始数据中有真实联系。 3. **负样本生成**: 为了扩大训练集，模型会在所有词汇表中随机抽取一定数量的词，这些词不是真实上下文，被称为“负样本”。 4. **损失函数优化**: 训练时，模型不仅要调整权重以准确地预测正样本的上下文，还要尽可能减少误将负样本识别为正样本的情况。通过最小化这些错误的损失，模型学习到了单词之间的相似性和差异性。 **负采样的好处**： - 减少计算需求：由于大部分词都不可能是真实的上下文，负采样大大减少了计算所需的时间和资源。 - 防止过拟合：通过对大量负样本的处理，模型不会过于关注特定词对，而是学习到整个语言的全局模式。