
LLM for chemistry
文章平均质量分 71
UnknownBody
AI博士,最近一直follow大模型相关论文,每日会更新学术界论文的进展。
展开
-
Instruction Multi-Constraint Molecular Generation Using a Teacher-Student Large Language Model
虽然已经提出了各种模型和计算工具用于分子的结构和性质分析,但生成符合所有期望结构和性质的分子仍然是一个挑战。在这里,我们介绍了一个多约束分子生成大语言模型TSMMG,它类似于学生,融合了来自各种小模型和工具的知识,即“教师”。为了训练TSMMG,我们通过从这些“老师”中提取分子知识来构建一大组文本分子对,使其能够通过各种文本提示生成符合描述的新分子。原创 2024-07-07 11:55:26 · 78 阅读 · 0 评论 -
Large Language Models are In-Context Molecule Learners
大型语言模型(LLM)在生物化学任务中表现出了非凡的性能,尤其是分子字幕翻译任务,该任务旨在弥合分子与自然语言文本之间的差距。然而,先前使LLM适应分子字幕翻译任务的方法需要额外的特定领域的预训练阶段,在分子空间和文本空间之间存在弱对齐,或者对LLM的规模提出了严格的要求。为了解决这些挑战,我们提出了上下文分子适应(ICMA),作为一种新的范式,LLM可以通过上下文分子调节从上下文示例中学习分子文本对齐。具体来说,ICMA包括以下三个阶段:混合上下文检索、检索后重新排序和上下文分子调整。原创 2024-07-01 20:30:00 · 98 阅读 · 0 评论 -
LlaSMol LLM for Chemistry with a Large-Scale, Comprehensive, High-Quality Instruction Tuning Dataset
化学在许多领域发挥着至关重要的作用,如药物发现和材料科学。虽然GPT-4等大型语言模型在自然语言处理任务上表现出非凡的能力,但现有工作表明,它们在化学任务上的性能低得令人沮丧。然而,在本文中,我们证明了我们开发的LLM可以在一组全面的化学任务上取得非常好的结果,在所有任务中都大大优于最先进的GPT-4,并接近SoTA任务特定模型。我们成功的关键是一个名为SMolInstruction的大规模、全面、高质量的指令调优数据集。原创 2024-04-01 14:22:23 · 120 阅读 · 0 评论 -
From Words to Molecules: A Survey of Large Language Models in Chemistry
近年来,大型语言模型(LLM)在自然语言处理(NLP)和各种跨学科领域取得了显著的成功。然而,将LLM应用于化学是一项复杂的任务,需要专业的领域知识。本文深入探讨了将LLM整合到化学领域中所采用的微妙方法,深入探讨了这一跨学科交叉点的复杂性和创新。具体来说,我们的分析首先考察分子信息是如何通过各种表示和标记方法输入LLM的。然后,我们根据化学LLM输入数据的领域和形式将其分为三组,并讨论整合LLM输入的方法。此外,本文还探讨了适应化学LLM的预训练目标。原创 2024-03-30 10:46:24 · 75 阅读 · 0 评论