多模态大模型：InternLM-XComposer系列

多模态大模型关于RLHF的代表性文章

一、InternLM-XComposer

题目: InternLM-XComposer: A Vision-Language Large Model for Advanced Text-image Comprehension and Composition
机构：上海人工智能实验室
论文: https://arxiv.org/abs/2309.15112
代码：https://github.com/InternLM/InternLM-XComposer
任务: 交织文本-图像理解的多模态大模型
特点:
方法:
前置相关工作：CLIP、BLIP、LLaVA、MiniGPT-4、InstructBLIP

1.1 出发点

这篇论文提出了InternLM-XComposer，这是一个视觉-语言大型模型，旨在解决高级图像-文本理解和组合的问题。具体来说，它试图解决以下问题：

1. 交织文本-图像组合：InternLM-XComposer能够生成与图像无缝结合的连贯、上下文相关的文章，提供更吸引人和沉浸式的阅读体验。它可以根据写作指令智能地生成文章，并在文本中找到合适的位