FinGPT-HPC: Efficient Pretraining and Finetuning Large Language Models for Financial Applications

UnknownBody

于 2024-04-17 11:07:38 发布

阅读量90

点赞数

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/137863732

版权

LLM 日更同时被 3 个专栏收录

828 篇文章

已下架不支持订阅

LLM Training

69 篇文章

订阅专栏

LLM for finance

16 篇文章

订阅专栏

本文提出了一种利用低秩结构和量化技术预训练和微调大型语言模型（LLM）以适应金融应用的方法。通过替换transformer的线性层并进行参数量化，显著减少了模型大小和GPU内存占用，同时保持或提高了性能。实验证明，这种方法在预训练和微调阶段都能有效加速并压缩模型，对于金融任务的微调表现尤为突出。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《FinGPT-HPC: Efficient Pretraining and Finetuning Large Language Models for Financial Applications with High-Performance Computing》的翻译。

摘要

大型语言模型（LLM）是计算密集型的。计算工作负载和内存占用空间随维度（层宽度）呈二次方增长。LLM的大多数参数来自transformer结构的线性层，并且是高度冗余的。这些线性层贡献了80%以上的计算工作量和99%的模型大小。为了有效地预训练和微调LLM，有三个主要挑战需要解决：1）减少线性层的冗余；2）减少GPU内存占用；3）在使用分布式训练时提高GPU利用率。现有的方法，如LoRA和QLoRA，分别利用低秩矩阵和量化来减少可训练参数的数量和模型大小。然而，生成的模型仍然会消耗大量的GPU内存。在本文中，我们提出了基于GPU的高性能方法，这些方法利用低秩结构来预训练和微调金融应用的LLM。我们用两个更窄的线性层代替transformer结构的一个传统线性层，这使我们能够将参数的数量减少几个数量级。通过将参数量化为低精度（8位和4位），进一步减少了所得模型的内存消耗。与现有的LLM相比，我们的方法在没有精度下降的情况下实现了1.3倍的加速和2.64

了解本专栏