使用openMind完成一个简单的微调任务(使用swanlab可视化工具)

简介

openMind是一个综合性的人工智能平台，它提供了应用使能开发套件，支持各大模型社区，具备海量模型/数据托管能力，并提供在线推理体验服务。该平台还支持接入内容审核、病毒扫描等服务，助力平台伙伴快速构建社区，并对外提供模型/数据集托管和在线推理体验服务。openMind开发套件提供模型训练、微调、评估、推理等全流程开发能力，开发者可以通过简单的API接口实现微调、推理等任务，显著缩短开发周期。

1、基本概念

其实最开始接触openmind的时候并不清楚究竟是什么，感觉有点乱，所以下面做一个简单的类比，大家看了可能就懂了怎么去使用它。

1、openmind--->transformers/mindformers

openmind其实就是类似于transformers的大模型封装工具，其中就有AutoModelForSequenceClassification、AutoModelForCausalLM等等模型加载工具以及像TrainingArguments参数配置工具等等，其实原理基本一样，只是可能没有transformers那么完备。

2、魔乐社区--->魔搭社区/huggingface

魔乐社区其实就是类似于huggingface这种模型托管社区，transformers可以直接从huggingface获取模型或者数据集，openmind也是一样的，可以从魔乐社区获取模型和数据集。

2、微调代码

如果了解了上述的对应机制，那么就可以跑一个简单的微调代码了，该代码参考了魔乐社区的教程文档，稍作调整，可以对比NVIDIA显卡的结果。

概述

openMind Library是一个深度学习开发套件，通过简单易用的API支持模型预训练、微调、推理等流程。openMind Library通过一套接口兼容PyTorch和MindSpore等主流框架，同时原生支持昇腾NPU处理器，同时openMind Library可以和PEFT、DeepSpeed等三方库配合使用，来加速模型微调效率。

环境配置

如果是昇腾AI卡系列的话，配置环境前需要先安装驱动等设备，具体可以参考软件安装-CANN商用版8.0.RC3开发文档-昇腾社区。

然后安装好驱动了之后就可以配置环境了，本次微调代码使用pytorch框架，openmind中自带了基于pytorch框架的各类函数，因此正常安装openmind就行。

注意以下几点：

1、可以使用镜像源来安装环境，不然会很浪费时间，可以使用清华源：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple name

2、魔乐社区中有两个框架的分类，如果是pytorch就只能选择pytorch框架，同理如果是mindspore就只能选择mindspore框架

3、配置环境的时候，按照openmind官方文档说可以同时存在两个框架，使用的时候分别设置就行，但是实际使用的时候只能存在一个框架，一旦设置了两个框架，使用的时候无论如何设置都会报错说openmind不知道使用哪个框架，所以最好在环境里只安装一个

>>> import openmind
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/home/miniconda3/envs/openmind-pt-cp3