【AI开发：语言】二、Qwen1.5-7B模型本地部署CPU和GPU版

前言

        之前文章，我们采用了Koblod运行Yi-34B大模型，本文采用LM Studio来运行千问模型。

LM Studio并没有开源，但是可以免费使用，他是目前本地进行模型测试最好的工具了。

        在这里，依然使用Windows 10进行部署和测试，没有GPU。

        注意：LM的运行速度相比较Kobold两者差不多，而且也提供WEB服务，稍后也研究下他的API功能，LM的功能更多一些有待开发。

        完整工具包下载（均为官方版本）：AI开发工具包官方版下载丨最新版下载丨绿色版下载丨APP下载-123云盘123云盘为您提供AI开发工具包最新版正式版官方版绿色版下载,AI开发工具包安卓版手机版apk免费下载安装到手机,支持电脑端一键快捷安装https://www.123pan.com/s/b5zTTd-tyaH.html%E6%8F%90%E5%8F%96%E7%A0%81:rnwi

一、LM Studio下载

下载地址：LM Studio - Discover, download, and run local LLMs

二、模型下载

下载地址：AI快站 - HuggingFace模型免费加速下载

我们要从这里选择需要的模型。其他模型资源如下：

1.其他模型资源

• 国内厂商模型

• 海外厂商模型

2.需要的模型

本次部署，我们依然选择4B，当然还是选择了GGUF格式，稍后我还要部署到服务器端。

三、安装和打开LM Studio

双击 LM Studio setup.exe，稍等片刻，它会自动安装到C盘，可以挪走，也可以不动。

四、加载和使用模型

1.创建模型文件夹        

        我们先把已经下载好的本地模型，放到它指定的目录下，否则就无法加载模型，其中有两个文件夹第一次可能需要手动建立Publisher和Repository，他俩是上下级关系 。

C:\Users\Administrator\.cache\lm-studio\models\Publisher\Repository

 将我们需要用的模型拷贝进来

2.重新启动LM

重启后，我们就可以去查看自己的模型了。

 3.修改模型文件夹

D:\LM-Studio\models\Publisher\Repository
#新建Publisher和Repository

在选择模型的时候，只选择到 models这一级就可以了，多选无效。

4.使用AI对话

五、LS的API功能

API文档：Local LLM Server | LM Studio

由于时间问题，稍后再做整理和测试。

六、最后

        Kobold和LM Studio各有千秋吧，一个是简单，另外一个就是功能多。所以在使用的时候我们可以根据自己的需求来选择。