Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications

本文是LLM系列文章,针对《Open-FinLLMs: Open Multimodal Large Language Models for Financial Applications》的翻译。

Open-FinLLM:用于金融应用的开放式多模态大型语言模型

摘要

大型语言模型 (LLM) 具有先进的金融应用,但它们通常缺乏足够的金融知识,并且难以处理涉及表格和时间序列数据等多模态输入的任务。为了解决这些限制,我们引入了 Open-FinLLM,这是一系列金融 LLM。我们从 FinLLaMA 开始,它在 520 亿个token金融语料库上进行了预训练,结合文本、表格和时间序列数据来嵌入全面的金融知识。然后,FinLLaMA 使用 573K 财务指令进行指令微调,形成 FinLLaMA 指令,从而提高任务性能。最后,我们提出了 FinLLaVA,这是一种多模态LLM,经过 143 万个图像文本指令的训练来处理复杂的金融数据类型。广泛的评估表明,FinLLaMA 在 19 个和 4 个数据集的零样本和少样本设置中分别优于 LLaMA3-8B、LLaMA3.1-8B 和 BloombergGPT。 FinLLaMA-instruct 在 15 个数据集上优于 GPT4 和其他金融 LLM。 FinLLaVA 擅长理解 4 种多模态任务中的表格和图表。此外,FinLLaMA 在交易模拟中实现了令人印象深刻的夏普比率,凸显了其强大的金融应用能力。我们将不断维护和改进我们的模型和基准,以支持学术界和工业界的

### Myriad 大型多模态模型在工业异常检测中的应用 Myriad 是一种新型的大型多模态模型,专门针对工业异常检测问题进行了优化设计。该模型的核心理念在于通过引入“视觉专家”来增强其对异常特征的学习能力,并将其与强大的多模态主干网络相结合[^3]。 #### 模型结构与功能 Myriad 的架构具有高度模块化的特性,允许灵活地集成不同的视觉专家组件。这些视觉专家能够识别并突出图像中的关键区域,从而帮助模型更好地捕捉异常特征。具体而言,Myriad 将来自不同领域(如纹理分析、形状匹配等)的专业知识融入到统一框架中,使得它不仅具备传统工业异常检测方法的优势,还继承了大规模多模态模型的强大泛化能力和指令遵循能力[^1]。 #### 数据效率与灵活性 相比于传统的单一任务模型或通用的大规模语言/视觉模型,Myriad 展现出更高的数据效率和更好的适应性。这主要得益于以下几个方面: - **专业知识融合**:通过对已有工业异常检测技术的有效利用,减少了对额外标注数据的需求。 - **模块化扩展**:由于采用了可插拔的设计思路,因此可以根据实际应用场景轻松调整配置而不必完全重训整个系统[^4]。 #### 实验验证与表现 为了评估 Myriad 的有效性,在多个公开可用的数据集上开展了广泛测试,包括但不限于 MVTec AD、VisA 和 PCB Bank 基准测试集合。结果显示,在单样本学习以及少量样例支持的情况下,相比其他先进方案均取得了显著改进的效果指标得分[^2]。 ```python # 示例代码展示如何加载预训练好的 Myriad 模型用于新项目开发阶段快速原型构建过程的一部分逻辑片段 from myriad import load_pretrained_model, detect_anomalies model = load_pretrained_model('myriad_vision_expert') test_images = ['path/to/image1.png', 'path/to/image2.jpg'] results = detect_anomalies(model=model, images=test_images) for result in results: print(f"Image {result['image']} has anomaly score of {result['score']}") ``` 上述脚本演示了一个简单的例子说明怎样调用预先训练完成后的 Myriad 来执行基本的任务操作流程——即给定一批待测图片文件路径列表之后返回每张图对应的异常评分数值结果。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值