Naive Bayes-based Context Extension for Large Language Models

本文是LLM系列文章，针对《Naive Bayes-based Context Extension for Large Language Models》的翻译。

摘要

大型语言模型（LLM）已经显示出很有前途的上下文学习能力。然而，传统的上下文学习（ICL）方法往往受到Transformer架构长度限制的阻碍，这在试图有效集成大量演示示例的监督时带来了挑战。在本文中，我们介绍了一种新的框架，称为基于朴素贝叶斯的上下文扩展（NBCE），通过显著扩展现有LLM的上下文大小，使其能够在增加演示次数的情况下执行ICL。重要的是，这种扩展不需要微调或依赖于特定的模型架构，同时保持线性效率。NBCE最初将上下文拆分为大小相等的窗口，以适应目标LLM的最大长度。然后，它引入了一种投票机制来选择最相关的窗口，作为后验上下文。最后，利用贝叶斯定理生成测试任务。我们的实验结果表明，NBCE显著提高了性能，特别是随着演示示例数量的增加，始终优于其他方法。NBCE代码将公开。代码NBCE位于：https://github.com/amurtadha/NBCE-master

1 引言