Gecko: Versatile Text Embeddings Distilled from Large Language Models

本文是LLM系列文章，针对《Gecko: Versatile Text Embeddings Distilled from Large Language Models》的翻译。

摘要

我们介绍了Gecko，一个紧凑而通用的文本嵌入模型。Gecko通过利用一个关键思想实现了强大的检索性能：将大型语言模型（LLM）中的知识蒸馏到检索器中。我们的两步蒸馏过程从使用LLM生成不同的合成配对数据开始。接下来，我们通过为每个查询检索一组候选段落，并使用相同的LLM重新标记正面和反面段落，来进一步改进数据质量。Gecko的紧凑性证明了我们方法的有效性。在海量文本嵌入基准测试（MTEB）上，具有256个嵌入维度的Gecko优于具有768个嵌入大小的所有现有条目。具有768个嵌入维度的Gecko平均得分为66.31，与7倍大的模型和5倍高维度的嵌入竞争。

1 引言

2 相关工作

3 Gecko的训练脚本

4 实验

5 结论

在本文中，我们介绍了Gecko，这是一种从大型语言模型中蒸馏出来的通用文本嵌入模型。Gecko是在LLM生成的合成数据集FRet上训练的，该数据集包含LLM排序的正