LlaSMol LLM for Chemistry with a Large-Scale, Comprehensive, High-Quality Instruction Tuning Dataset

本文是LLM系列文章，针对《LlaSMol: Advancing Large Language Models for Chemistry with a Large-Scale, Comprehensive, High-Quality Instruction Tuning Dataset》的翻译。

摘要

化学在许多领域发挥着至关重要的作用，如药物发现和材料科学。虽然GPT-4等大型语言模型在自然语言处理任务上表现出非凡的能力，但现有工作表明，它们在化学任务上的性能低得令人沮丧。然而，在本文中，我们证明了我们开发的LLM可以在一组全面的化学任务上取得非常好的结果，在所有任务中都大大优于最先进的GPT-4，并接近SoTA任务特定模型。我们成功的关键是一个名为SMolInstruction的大规模、全面、高质量的指令调优数据集。它包含14项精心挑选的化学任务和300多万个高质量样本，为化学LLM的训练和评估奠定了坚实的基础。基于SMolDirective，我们对一组开源LLM进行了微调，其中，我们发现Mistral是化学任务的最佳基础模型。我们进一步分析了可训练参数的影响，为未来的研究提供了见解。

1 引言

2 相关工作

3 前言

4 SMolInstruct</