TradExpert：一种基于大型模型的股票交易新方法，实现了高达49.79%的年回报率-CSDN博客

本文链接：https://blog.csdn.net/AI16947/article/details/144689150

“TradExpert: Revolutionizing Trading with Mixture of Expert LLMs”

论文地址：https://arxiv.org/pdf/2411.00782

摘要

TradeExpert是一个创新的框架，它采用混合专家（MoE）系统，整合了四个专门设计的语言模型（LLM），用于解析各类金融信息来源，包括新闻报道、市场动态、阿尔法因子以及公司基本面数据。这些专业LLM的分析结果会被一个中央LLM汇总，从而生成最终的预测或决策建议。TradeExpert具备切换预测与排名两种模式的能力，适用于股票趋势预测和量化投资策略。此外，随同该框架的推出，还发布了一个大型金融数据集，用以测试TradeExpert的性能。实验表明，无论在哪种交易情境下，TradeExpert均展现出色的表现。

简介

人工智能与金融分析的结合，尤其是大型语言模型（LLMs）的引入，正引领金融行业的革新。LLMs可以解析复杂的金融信息，因为金融市场不仅涉及数字，还包含新闻、报告及经济指标等多层面的数据。传统的金融建模主要依靠统计方法和时间序列预测，对于非结构化数据的处理能力有限。为此，研究人员开发了专门针对金融领域的语言模型（例如FinBERT、BloombergGPT、FinGPT），这些模型通过特定金融文本的预训练，能够更准确地理解并预测市场变化。尽管已经取得了一定进展，但如何有效地融合历史股价、阿尔法因子、基本面分析和新闻报道等多种数据源，仍然是一个亟待解决的难题。

本文介绍的TradExpert框架，采用了混合专家（Mixture of Experts, MoE）的方法，集成了多个专注于不同金融数据类型的LLM，比如新闻、市场数据、因子和基本面信息。各个专家模型独立进行数据分析，之后由一个通用专家模型综合这些分析结果，模仿了实际工作中的专业分工。通过重编程机制，时间序列数据被转换成适合LLM处理的嵌入形式。该框架提供两种操作模式：一是预测模式，用于预估股票走势；二是排名模式，旨在根据预测挑选出Top-K的股票。

同时，本文还发布了一个大型金融数据集，作为新的评估基准。实验结果表明，TradExpert在所有交易场景中均超越了现有的基线模型，而消融研究也证明了框架内每个组件的有效性。

相关工作

近年来，金融语言模型的发展取得了显著进步，通过结合自然语言处理（NLP）技术和金融分析，能够从海量的非结构化金融数据中挖掘出有价值的见解。FinBERT是基于BERT架构并针对金融领域优化的模型；BloombergGPT则是一个在2023年发布的拥有50亿参数的大型模型；FLANG引入了特定的掩码策略和目标函数以适应金融文本的特点。Astock平台专注于研究利用NLP技术辅助中国市场的股票自动交易算法；BBTFinT5促进了中文金融领域的NLP发展；FinMA展示了如何通过多任务指令数据集对模型进行微调。开源框架FinGPT为构建金融LLM提供了便利；InvestLM证明了指令调优对于投资相关任务的有效性；FinReport实现了财务报告的自动化生成。AlphaFin运用检索增强生成技术来进行金融分析，体现了金融NLP模型及其评估基准的进化。在股票运动预测方面，StockNet整合了文本和价格信号来提高预测精度；SLOT采用自监督学习方法应对推文数据稀疏的问题；CH-RNN将社交文本与跨模态注意力机制相结合。最近的研究（如Lopez-Lira和Tang 2023；Chen等2023）还探讨了ChatGPT在预测股票运动方面的应用，并将其性能与传统模型进行了对比。

01 问题建模

研究目标。

采用大型语言模型（LLMs）来进行股票交易，旨在预测股票价格的变动趋势。

输入数据。

涵盖新闻报道、市场数据（包括开盘价、最高价、最低价、收盘价和成交量，即OHLCV）、阿尔法因子，以及基本面数据（例如财务报告）。

任务1。

基于多源数据预测股票价格是上升还是下降，建立模型 f_θ 以输出“上涨”或“下跌”的判断。

任务2。

模拟股票交易过程，通过TradExpert框架实施买入持有策略，并利用年化收益、夏普比率、年化波动率和最大回撤等关键绩效指标进行评估。

02 数据集

我们汇集了一个综合数据集，包含四个关键部分：新闻、市场数据、阿尔法因子和基本面信息。该数据集的时间范围是从2020年1月1日到2023年12月31日，总计四年。

统计

新闻数据。

包含524,995篇S&P 500股票相关的金融新闻，平均596.4字/篇。

市场数据。

包含了481,484条S&P 500股票的历史每日OHLCV（开盘价、最高价、最低价、收盘价和成交量）记录。

Alpha因子。

涵盖了108种技术指标和因子，用于预测股票价格的变动趋势。

基本面数据。

整合了来自Seeking Alpha的季度财报电话会议记录和财务报表，包括每股收益（EPS）、市盈率（P/E Ratio）、每股账面价值（BVPS）等关键财务指标。

数据划分

数据集按时间顺序分为训练集、验证集和测试集，以确保未来数据在训练过程中未被使用。

训练集：2020年1月1日至2022年6月30日。
验证集：2022年7月1日至2022年12月31日。
测试集：2023年1月1日至2023年12月31日。

04 方法

提出TradExpert框架，采用混合专家（MoE）LLMs方法，其中四个专门的LLM分别处理不同的金融数据源。一个通用的LLM汇总这四个专家LLM的分析结果，生成最终输出。所有专家LLM均基于LLaMA2-7B，并通过LoRA机制进行监督式微调。在训练之前，对原始数据集进行了预处理，以构建提示、指令和真实的响应。

新闻分析

新闻分析LLM专注于解析新闻文章以预测股票趋势。其输出不仅包含股票运动的预测，还包括基于Chain-of-Thought (CoT)的推理过程。真实的推理内容由OpenAI的GPT-4 API生成，结合了实际的股票走势和相关新闻文本。

市场分析

市场分析LLM致力于解析历史OHLCV数据以预测股票趋势，然而时间序列数据与LLM的离散结构之间的不兼容性带来了应用上的挑战。为此，采用了重编程机制，将OHLCV数据转换为文本原型表示。具体来说，OHLCV数据实例X(i)被分割并嵌入为补丁嵌入XP，然后利用文本原型E'进行重编程处理。通过多头交叉注意力机制生成重编程后的补丁嵌入O(i)，并将其映射到LLM的隐藏层维度。最终，这些重编程嵌入与通过TSFresh提取的统计特征相结合，作为Alpha Expert模型的输入提示。

Alpha分析

Alpha Expert专注于处理基于表达式的alpha因子，这些因子是用于预测股票价格变动的技术指标和通过算法生成的特征。借助GPT-4来解析复杂的表达式，为每个因子生成详细的语言描述，从而构建Alpha数据库。每个alpha记录包括两部分：表达式（即基于OHLCV数据的计算公式）和描述（由GPT-4生成的解释）。在计算所有alpha因子的值之后，使用LightGBM模型进行综合评分，从中挑选出对评分影响最大的Top-K个alpha因子。随后，从数据库中检索这Top-K个alpha因子的描述，并连同它们的计算值一起，作为Alpha Expert模型的提示和指令输入。

基本面分析

基本面分析师LLM专注于解析财报电话会议记录和财务指标，以预测季度股票价格的变动。其预测流程与新闻分析师LLM类似，但由于基本数据每季度更新一次，因此预测重点放在下一个季度的表现。预测结果分为五个类别：“强上涨”、“中等上涨”、“无变化”、“中等下跌”或“强下跌”，并附有详细的理由说明。提供的总结报告旨在评估股票在未来一段时间内的涨跌趋势。对于两个股票的总结报告，该模型还需判断哪个股票在未来几天内的表现更为优异。

通用专家

通用专家LLM具备两种操作模式：预测模式和排名模式。在预测模式下，该模型用于预估股票的走势，输出股票上涨或下跌的二元预测。而在排名模式中，它通过比较两只股票的表现来决定它们的相对排名。为了确定Top-K排名，采用了一种放宽的比较排序算法（类似于冒泡排序），尽管这种算法的时间复杂度为O(N²)，但更多的比较可以提升排序的准确性。通用专家LLM同时在股票走势预测和比较任务上进行了微调训练。

05 实验

评估TradExpert框架的两个主要任务：股票走势预测和股票交易模拟。研究问题包括：

TradExpert在股票走势预测中的表现与现有基线的比较。
TradExpert在真实市场回测中的潜在利润和风险。
TradExpert对非结构化数据的推理能力的有效性。
TradExpert框架中每个专家的重要性。
选择放松比较排序算法的原因。

数据集

使用两类数据集进行实验：

基准数据集：包括CIKM18、ACL18和BigData22等公开可用的数据集。
专有数据集：包含历史OHLCV数据、新闻文章、阿尔法因子和基本面指标。

实验设置

TradExpert基于LLaMA-2-7B模型，通过LoRA机制进行微调。

股票运动预测。TradExpert以预测模式工作，提供股票涨跌的二元预测，评估指标包括准确率（Acc）和马修斯相关系数（MCC）。

股票交易模拟。TradExpert以排名模式工作，比较并排序股票，通过Top-K股票执行交易，评估指标包括年化收益率（AR）、夏普比率（SR）、年化波动率（AV）和最大回撤（MD）。

基线

股票运动预测基线模型：

混合模型：StockNet, ALSTMW, ALSTM-D, SLOT。
大型语言模型：GPT-4, Gemini, LLaMA2-70B, LLaMA3-8B, FinMA-7B, FinGPTLlaMA2-7B, InternLM7B, Falcon-7B, Mixtral-7B。

股票交易模拟基线模型：

传统模型：随机森林, 决策树, 支持向量机。
深度学习模型：A2C, PPO, SARL, EIIE, DeepTrader。

数据集。所有方法在道琼斯30只股票上进行回测，以降低计算成本。

结果

股票走势预测。

在股票走势预测的实验中，使用了多个基线模型进行对比，除了闭源的SLOT模型外，其余模型均为自行实现或基于开源代码。TradExpert-NM（结合了新闻分析师和市场分析师）在所有数据集上的表现均优于其他模型，除了ACL18数据集上的MCC指标。SLOT模型在ACL18数据集上表现出色，这得益于其对全球市场的指导能力。InternLM则在S&P500数据集上展现了优异的表现。由于S&P500数据集中的新闻文章较长，这使得TradExpert-7B-NM在这个特定数据集上的性能有显著提升。

股票交易模拟。

在2023年1月1日至12月31日的回测期间，TradExpert在DOW 30股票池中采用了基于Top-K股票的买入持有策略。TradExpert在所有评估指标上均表现出色，实现了49.79%的年回报率（AR），年波动率（AV）为9.95%，夏普比率达到了5.01，体现了高回报与低风险的良好结合。相比之下，传统的XGBoost模型虽然回报率较高，但其波动性和最大回撤也较大，意味着更高的风险。深度学习模型普遍优于传统模型，其中DeepTrader的表现最为突出，拥有最高的回报率和夏普比率。