本文是LLM系列文章,针对《Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications》的翻译。
摘要
大型语言模型 (LLM) 具有先进的金融应用,但它们通常缺乏足够的金融知识,并且难以处理涉及表格和时间序列数据等多模态输入的任务。为了解决这些限制,我们引入了 Open-FinLLM,这是一系列金融 LLM。我们从 FinLLaMA 开始,它在 520 亿个token金融语料库上进行了预训练,结合文本、表格和时间序列数据来嵌入全面的金融知识。然后,FinLLaMA 使用 573K 财务指令进行指令微调,形成 FinLLaMA 指令,从而提高任务性能。最后,我们提出了 FinLLaVA,这是一种多模态LLM,经过 143 万个图像文本指令的训练来处理复杂的金融数据类型。广泛的评估表明,FinLLaMA 在 19 个和 4 个数据集的零样本和少样本设置中分别优于 LLaMA3-8B、LLaMA3.1-8B 和 BloombergGPT。 FinLLaMA-instruct 在 15 个数据集上优于 GPT4 和其他金融 LLM。 FinLLaVA 擅长理解 4 种多模态任务中的表格和图表。此外,FinLLaMA 在交易模拟中实现了令人印象深刻的夏普比率,凸显了其强大的金融应用能力。我们将不断维护和改进我们的模型和基准,以支持学术界和工业界的