多模态系列-综述MM-LLMs: Recent Advances in MultiModal Large Language Models

已于 2024-03-28 10:15:09 修改
阅读量1.7k 收藏 30
点赞数 21
CC 4.0 BY-SA版权
分类专栏： 多模态论文 文章标签： 人工智能 多模态综述
于 2024-03-28 10:14:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lansebingxuan/article/details/137086744
本文综述了多模态大型语言模型（MM-LLMs）的最新进展，涵盖模型架构、训练流程、现状及发展趋势。研究发现，MM-LLMs正从多模态理解转向模态生成和跨模态转换能力的提升，同时通过强化学习和高质量数据进行优化。未来方向包括拓展更多模态、提高模型通用性和数据集质量，以及解决具身智能、轻量化部署和幻觉现象等问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Homepage：https://mm-llms.github.io/

Paper: https://arxiv.org/abs/2401.13601

1 摘要

在过去的一年中，多模态大型语言模型（MM-LLMs）取得了实质性的进展，通过高效的训练策略，增强了现成的语言模型，以支持多模态输入或输出。由此产生的模型不仅保留了语言模型的固有推理和决策能力，还赋予了多样化的多模态任务。在本文中，我们提供了一份旨在促进进一步研究多模态大型语言模型的综合调查。首先，我们概述了模型架构和训练流程的一般设计公式。随后，我们介绍了一个包含122个多模态大型语言模型的分类体系，每个模型都具有其特定的公式。此外，我们回顾了选定多模态大型语言模型在主流基准测试上的性能，并总结了关键的训练方法，以增强多模态大型语言模型的效力。最后，我们探讨了多模态大型语言模型的前景，并同时维护一个实时跟踪网站（https://mm-llms.github.io），以追踪该领域的最新发展。

2 架构

最低0.47元/天 解锁文章

200万优质内容无限畅学
MM-LLMs: Recent Advances in MultiModal Large Language Models
步子哥的博客
01-25 1227
论文从现有的SOTA（State-of-the-Art）模型中提取了关键的训练策略，如图像分辨率、SFT数据的质量和PEFT（Parameter-Efficient Fine-Tuning）方法的应用，以揭示提升MM-LLMs效能的有效方法。：随着模型规模和数据集的不断扩大，传统的多模态模型在从头开始训练时面临巨大的计算成本。：论文回顾了主流MM-LLMs在主流基准测试上的性能，并总结了关键的训练策略，如使用高质量的SFT数据、提高图像分辨率、以及在SFT中重新混合文本数据等，以提升模型的有效性。
【多模态大模型阅读笔记--1】多模态大模型入门，MLLM综述：MM-LLMs: Recent Advances in MultiModal Large Language Models
Mugi_jiang的博客
05-20 1500
- 归纳了现在多模态大模型的整体架构设计方向 - 提供了现有主流的 26 个多模态大模型 - 总结了提升多模态大模型性能的关键方法
阅读笔记-MM-LLMs: Recent Advances in MultiModal Large Language Models
Yale的博客
03-05 759
此外，文章还探讨了MM-LLMs的未来发展，包括模型的增强、更具挑战性的基准测试、移动/轻量级部署、具身智能和持续学习等方向。为了解决这一问题，研究者们开始利用现有的预训练单模态基础模型，特别是强大的大型语言模型（LLMs），以成本效益高的训练策略来增强多模态输入或输出的支持。此外，文章回顾了选定的MM-LLMs在主流基准测试上的性能，并总结了关键的训练配方以增强MM-LLMs的效能。此外，传统的训练流程仅包括预训练（PT）阶段，而没有包含指令微调（IT）阶段，限制了模型的灵活性和适应性。
MM-LLMs: Recent Advances in MultiModal Large Language Models MM-LLMs: 多模态大语言模型的新进展（一）
qq_55923034的博客
11-26 861
在过去的一年中，多模态大语言模型( MM-LLMs )取得了长足的发展，通过经济有效的培训策略，增加了现成的LLMs，以支持MM的输入或输出。由此产生的模型不仅保留了LLM固有的推理和决策能力，还赋予了MM任务多样化的能力。在本文中，我们提供了一个全面的综述，旨在促进MM - LLMs的进一步研究。首先，我们概述了模型架构和训练管道的一般设计公式。随后，我们介绍了一个包含126种MM - LLMs的分类学，每种MM - LLMs都有其特定的剂型。
多模态大语言模型调研《MM-LLMs: Recent Advances in MultiModal Large Language Models》简要介绍
qq_37261357的博客
04-03 1833
题目：MM-LLMs: Recent Advances in MultiModal Large Language Models论文：https://arxiv.org/pdf/2401.13601.pdf?项目主页：https://mm-llms.github.io/GPT诞生以来，一向以强大的自然语言处理能力而著称，人们试着将大型语言模型（Large Language Models，LLM）的强大推理和生成能力在除文本以外的模态数据上应用起来。例如图像、视频、音频、3D点云等。
MM-LLMs: Recent Advances in MultiModal Large Language Models MM-LLMs: 多模态大语言模型的新进展（二）
qq_55923034的博客
11-26 996
—腾讯人工智能实验室、日本京都大学、阿联酋穆罕默德·本·扎耶德人工智能大学2024.2发布在arxiv 2024.8 发表在《Findings of the Association for Computational Linguistics: ACL 2024》上，属于中科院2区太长不看版-AI总结：在LLMs出现之前，已有多次对传统多模态预训练（MM PT）的调查。这些模型由于端到端训练需要大量计算资源，且在指令跟随、上下文学习（ICL）、思维链（CoT）和交互能力等方面存在不足。
AI之MLM：《MM-LLMs: Recent Advances in MultiModal Large Language Models多模态大语言模型的最新进展》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-27 5158
​ AI之MLM：《MM-LLMs: Recent Advances in MultiModal Large Language Models多模态大语言模型的最新进展》翻译与解读 目录 《MM-LLMs: Recent Advances in MultiModal Large Language Models》翻译与解读 Abstract摘要 1、Lntroduction引言 2、Model Architecture模型架构，五个组件 3、Tra
多模态大模型（MM-LLMs）近期概述
qq_41458274的博客
07-30 1360
目的：MM-LLMs旨在减少计算费用并提高多模态预训练的效率, 因为从头开始训练时会产生大量的计算成本。挑战：如何有效地将LLM与其他模式的模型连接起来，实现协同推理是MM-LLM面临的核心挑战。焦点：多模态预训练(PT) + MM指令调优(IT)流程来优化模态之间的对齐并与人类意图对齐。
MM-LLMs ：多模态大语言模型综述
u014546828的博客
08-10 1575
在过去一年中，多模态大型语言模型（MM-LLMs）取得了显著进展，通过成本效益高的训练策略，增强了现成的LLMs（大型语言模型），以支持多模态输入或输出。本文旨在通过全面综述，促进MM-LLMs领域的进一步研究。最后，本文在探索MM-LLMs未来发展方向的同时，还维护了一个实时跟踪网站1，以关注该领域的最新进展。此外，本文还回顾了部分MM-LLMs在主流基准测试中的表现，并总结了增强MM-LLMs效能的关键训练策略。随后，本文引入了一个包含126个MM-LLMs的分类体系，每个模型都有其特定的设计公式。
【LLM】多模态LLM综述MultiModal Large Language Models
发现问题，并解决问题，批判性思维
06-02 4377
note （一）现有的 MM-LLM 的趋势： (1)从专门强调 MM 理解对特定模态的生成的进展，并进一步演变为任何到任何模态的转换（例如，MiniGPT-4 → MiniGPT-5 → NExT-GPT）； (2) 从 MM PT 提升到 SFT，然后到 RLHF，训练管道进行连续细化，努力更好地与人类意图对齐并提高模型的会话交互能力（例如，BLIP-2 → InstructBLIP →DRESS）； (3) 实施多样化模态扩展（例如，BLIP-2 → X-LLM 和 InstructBLIP→X-In
腾讯发表多模态大模型最新综述，从26个主流大模型看多模态效果提升关键方法
夕小瑶科技说
01-29 1756
在腾讯 2024 数字科技前沿应用趋势中，强调了“通用人工智能渐行渐近，大模型走向多模态，AI智能体（Agent）有望成为下一代平台当下多模态大模型不仅仅是学界新宠，也是未来行业发展进步的一大方向，站在这篇综述的基础之上，期待我们可以更快更好的理解未来多模态大模型的发展，赶上这波通用人工智能的新浪潮！
综述 | 多模态 LLM，大模型的未来
idol24的博客
01-31 1724
本文来源 机器之心编辑部多模态大型语言模型进展如何？盘点 26 个当前最佳多模态大型语言模型。当前 AI 领域的关注重心正从大型语言模型（LLM）向多模态转移，于是乎，让 LLM 具备多模态能力的多模态大型语言模型（MM-LLM）就成了一个备受关注的研究主题。近日，腾讯 AI Lab、京都大学和穆罕默德・本・扎耶德人工智能大学的一个研究团队发布了一份综述报告，全面梳理了 MM-LLM 的近期进展...
腾讯多模态大模型最新综述，从26个主流大模型看多模态效果提升关键方法
weixin_43564920的博客
01-29 5395
在腾讯 2024 数字科技前沿应用趋势中，强调了“通用人工智能渐行渐近，大模型走向多模态，AI智能体（Agent）有望成为下一代平台当下多模态大模型不仅仅是学界新宠，也是未来行业发展进步的一大方向，站在这篇综述的基础之上，期待我们可以更快更好的理解未来多模态大模型的发展，赶上这波通用人工智能的新浪潮！
使用yolo11训练饮料瓶盖缺陷检测质量检测数据集VOC+YOLO格式1432张5类别步骤和流程
FL1623863129的博客
08-03 332
训练完成后，最佳权重保存路径为：runs/detect/train/weights/best.pt，如果多次运行命令runs/detect/train2,runs/detect/train3文件夹生成只需要到数字最大文件夹查看就可以找到模型。经过上面训练可以使用模型做一步部署，比如使用onnx模型在嵌入式部署，使用engine模型在jetson上deepstream部署，使用torchscript模型可以在C++上部署等等。通过比较不同模型在这些指标上的表现，可以判断哪个模型在实际应用中可能更有效。
提升CSDN文章在AI大模型的RAG搜索中引用率的综合策略分析,以“微学AI“为例
微学AI的博客
08-01 282
随着大型语言模型（LLM）与检索增强生成RAG技术的普及，AI驱动的搜索与问答正在成为获取技术信息的核心渠道。对于像“微学AI”这样的CSDN技术博主而言，其文章能否被这些AI系统有效检索和引用，直接关系到其知识传播的广度、个人品牌的影响力以及潜在的技术领导力。本报告深入剖析了RAG系统的工作原理，并结合传统的搜索引擎优化（SEO）与新兴的AI内容优化策略，为CSDN博主提出一套系统性的、可操作的优化方案。报告的核心观点是，创作者需要从“为人类读者写作”进化到“为人类与AI双重读者写作”.
【YOLO系列】YOLOv11详解：模型结构、损失函数、训练方法及代码实现
一碗白开水一
08-01 1084
YOLOv11在目标检测领域实现重大突破，通过动态骨干网络(Dyna-Backbone)和FPN++架构，在保持高帧率(≥60FPS)的同时提升小目标检测精度(AP_S提升5.6%)。创新采用CIoU++损失函数和类别平衡Focal Loss，结合Mosaic-Plus数据增强，参数量减少18%至6.5M。实验显示，该模型在COCO数据集上实现更高mAP，特别适合移动端部署，Jetson Xavier平台能耗比优化至3.2W·ms⁻¹，支持目标检测、实例分割等多任务场景。关键创新包括动态深度调整和双向特征金
基于深度学习的医学图像分析：使用变分自编码器（VAE）实现医学图像生成
qq_74383080的博客
08-03 133
本文介绍了基于变分自编码器（VAE）的医学图像生成技术。首先概述了医学图像分析的定义及其在疾病模拟、图像增强和数据增强中的应用场景。然后详细讲解了VAE的理论基础，包括其编码器-解码器架构和生成多样性优势。文章提供了完整的代码实现流程：从环境准备、数据加载预处理，到VAE模型定义、训练和评估方法，最后展示了生成图像的可视化效果。该技术能够生成多样化的医学图像，支持医学研究和临床应用。读者可通过调整模型结构和参数进一步优化生成效果。
大模型退潮后，AI Agent接棒：从“智能助手”到“超级生产力”
最新发布
weixin_52610848的博客
08-03 314
摘要： AI Agent作为大模型落地的关键载体，正从“智能助手”进化为“超级生产力工具”。其核心架构包含大脑（LLM驱动的思考中枢）、感知（多模态输入）和行动（工具调用与物理交互）三大模块，具备自主规划、协作与学习能力。当前应用覆盖个人助理（如AutoGPT）、产业协作（如MetaGPT模拟团队）及情感陪伴（如Pi）等场景，但面临幻觉错误、伦理对齐等挑战。未来将在企业服务、医疗、制造等垂直领域率先爆发，并逐步向“Agent+”生态演进，成为通往通用人工智能（AGI）的重要路径。 （字数：149）
跨域学习的多模态大模型
01-01
### 跨域学习的多模态大模型 #### 多模态大语言模型的发展趋势 近年来，随着人工智能领域内数据量的增长和技术的进步，多模态大型语言模型(MM-LLMs)得到了快速发展。这些模型能够处理来自不同源的数据并融合多种类型的输入，如文本、图像和音频等[^1]。 #### 技术挑战与解决方案 构建有效的跨域学习架构面临诸多挑战，其中包括但不限于如何有效地表示异构信息以及设计可以适应新任务而无需重新训练整个系统的机制。针对这些问题的研究提出了各种方法论上的改进措施，在保持原有性能的同时扩展到新的应用场景中去[^2]。 #### 实现案例分析 具体来说，《Attentive Multiview Text Representation for Differential Diagnosis》一文中介绍了一种用于差异诊断的方法，该方法通过引入注意力机制来增强对于不同类型视图间关系的理解能力；而在《MM-LLms:Recent Advances in MultiModal Large Language Models》则总结了一些最新的进展成果，并讨论了未来可能发展的方向。 ```python # Python代码示例：加载预训练好的多模态模型（假设使用transformers库） from transformers import AutoModel, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("model_name") model = AutoModel.from_pretrained("model_name") text_input = "example sentence" image_path = "./path_to_image.jpg" inputs = tokenizer(text_input, return_tensors="pt") outputs = model(**inputs) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CV温故知新

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值