Large Language Models are In-Context Molecule Learners

本文是LLM系列文章，针对《Large Language Models are In-Context Molecule Learners》的翻译。

摘要

大型语言模型（LLM）在生物化学任务中表现出了非凡的性能，尤其是分子字幕翻译任务，该任务旨在弥合分子与自然语言文本之间的差距。然而，先前使LLM适应分子字幕翻译任务的方法需要额外的特定领域的预训练阶段，在分子空间和文本空间之间存在弱对齐，或者对LLM的规模提出了严格的要求。为了解决这些挑战，我们提出了上下文分子适应（ICMA），作为一种新的范式，LLM可以通过上下文分子调节从上下文示例中学习分子文本对齐。具体来说，ICMA包括以下三个阶段：混合上下文检索、检索后重新排序和上下文分子调整。最初，混合上下文检索利用BM25标题检索和分子图检索来检索信息上下文示例。此外，我们还提出了使用序列反转和随机漫步进行检索后重新排序，以进一步提高检索结果的质量。最后，In-Context Molecule Tuning通过检索到的例子解锁了LLM的非文本分子学习能力，并将LLM的参数用于分子字幕翻译任务。实验结果表明，ICMA可以使LLM在没有额外训练语料库和复杂结构的情况下实现最先进的或可比的性能，这表明LLM本质上是上下文分子学习者。

1 引言