通义×Milvus：手把手教你打造专属AI技术顾问

01.

前言

对于Milvus的开发者和使用者来说，向量数据库的应用场景越来越广泛，但技术深度和问题复杂性也与日俱增。在构建AI应用、机器学习项目时，我们常常面临这样的困境：明明知道解决方案就在某处，却苦于找不到精准的技术指导。每一个Milvus开发者都渴望拥有一个随身的技术顾问，能即时解答向量检索、数据索引、性能优化等关键问题。想象一个完全理解你项目上下文、能秒级响应的专属AI助手，它可以帮助你节省大量技术排查时间，快速解决各种问题。通过构建属于自己的本地技术顾问，让你在使用和开发Milvus的路上更顺利。

02.

手把手构建专属Milvus技术顾问

本环节中将详细介绍如何结合Milvus的数据集和通义本地大模型，构建一个能够理解和回答特定技术问题的AI技术顾问。我们将从零开始，逐步引导完成整个流程，涵盖准备训练数据集、实施微调训练以及评估模型效果等关键环节。通过本实操环节，相信即便是初学者也能成功打造出自己的专属技术顾问，进而显著提高在Milvus项目中的工作效率和创新能力。

说明：本文中忽略一些基础环境配置环节，若需了解请自行研究

2.1.环境要求

2.2.环境准备

检查显卡状态

[root@Qwen-main] nvidia-smi

新建Py虚拟环境并激活

[root@Qwen-main] conda create -n qwen

[root@Qwen-main] conda activate qwen

数据集准备

https://milvus.io/docs/schema.md

本次数据集采用Milvus官方部分文档作为原始数据，保存后等待数据清洗与预处理

Clone项目到本地

注意：QWEN项目支持本地运行的模型列表如下，QWEN2的模型不支持此项目运行

https://github.com/QwenLM/Qwen

(qwen) [root@Qwen-main] git Clone https://github.com/QwenLM/Qwen

下载Qwen-1.8B模型

(qwen) [root@Qwen-main] modelscope download --model Qwen/Qwen-1_8B-Chat

说明：本地模型存储路径

(qwen) [root@Qwen-main] ls /root/.cache/modelscope/hub/Qwen/Qwen-1_8B-Chat/

2.3.开始微调训练

2.3.1.安装Pytorch

注意：请参照Pytorch官方环境版本要求选择安装

(qwen) [root@Qwen-main] pip3 install torch torchvision torchaudio -i https://mirrors.aliyun.com/pypi/simple/

安装QWEN项目所需依赖

(qwen) [root@Qwen-main] pip3 install peft -i https://mirrors.aliyun.com/pypi/simple/