swift微调牧歌数据电商多模态大语言模型

大规模中文多模态评测基准MUGE_数据集-阿里云天池多模态理解和生成评估挑战榜（MUGE）是由阿里巴巴达摩院智能计算实验室发起，由阿里云天池平台承办，并由浙江大学、清华大学等单位共同协办。 Mhttps://tianchi.aliyun.com/dataset/107332微调的是牧歌数据集，结果都不好，记录一下。微调了qwenvl和llava，都是一样的类似结果，需要对数据做进一步的分析。通常在大语言模型中，存在PT和SFT中，一般来讲SFT的数据更重要的是数据质量，数据量多少并不是决定性因素，但是在VLM中的特征对齐和指令微调中，从llava中看，60w特征对齐，15w指令精调，15w精调是llava起初版本的，llava1.5就是665k的精调了。也就是说你也可以当成PT和SFT两个阶段看，但是两者是完全不同的。

1.数据