ChartLlama：多模态统计图表大模型

ChartLlama

总览

题目: ChartLlama: A Multimodal LLM for Chart Understanding and Generation
机构：南洋理工，腾讯，东南大学
论文: https://arxiv.org/pdf/2311.16483.pdf
代码: https://tingxueronghua.github.io/ChartLlama/
任务: 提出一种利用GPT4构建统计图表以及指令微调的pipeline，并基于LLaVA-1.5提出模型baseline
特点: 7种任务（涵盖QA，插图提取，插图描述，详细描述，chart2chart翻译，文本到chart生成，chart编辑等等），10种图表类型（柱状图，折线图，饼状图，雷达/polar图，漏斗图funnel，甘特图，热力图，散点图，box，K线图（candlestick）），11K插图，160K指令微调