环境搭建
1、安装Anaconda
下载网址:Anaconda | Built to Advance Open Source AI
安装直接下一步即可 - 记得把环境变量勾上
2、创建Python环境
1、 在Anaconda Prompt中输入(管理员权限):
conda create -n llm-cpp python=3.11
conda activate llm-cpp
pip install --pre --upgrade ipex-llm[cpp]
2、激活初始化 - Anaconda Prompt中输入(管理员权限):
conda activate llm-cpp
init-ollama.bat
3、设置环境变量
set OLLAMA_NUM_GPU=