Linux纯CPU环境部署运行大模型实践

随着人工智能技术的不断发展，开源大模型因其高度的灵活性和可定制性，受到了越来越多开发者和研究人员的青睐。虽然GPU（比如：Nvida的A100, A800，L20等）是大模型运行必备，并且备受青睐。但是考虑到成本限制，尤其是刚接触入门的小白，可能需要基于手头电脑cpu资源环境，跃跃欲试，做下先行探索。

本文基于自己的实践经验，指导您如何在Linux纯CPU环境下部署和运行开源大模型。

实验环境：

一台单机linux系统电脑，纯CPU运行环境：8核心、32G内存、无显存

实操过程

在本地部署运行时，重点尝试下面三种方式：

1、使用Ollame部署和运行大模型

Ollama 是一个强大的框架，设计用于在 Docker 容器中部署 LLM。它帮助用户快速在本地运行大模型，通过简单的安装指令，可以让用户执行一条命令就在本地运行开源大型语言模型。只需要简单两步：

（1）安装环境（docker安装，较简单）

1）Docker Pull Command

docker pull ollama/ollama

该命令是从ollma镜像库中拉取和安装ollama环境。

目前镜像是默认连接github下载，如果尝试多次都是连接timeout，建议手动从ollama官网下载安装：

下载地址： Download Ollama on macOSGet up and running with large language models.https://ollama.com/download

如果下载仍然失败（或者访问github太慢），建议多试两次。

或者通过访问gitcode，尝试手动下载安装（点击上图中的蓝色框链接）

linux手动安装指南：GitCode - 全球开发者的开源社区,开源代码托管平台

2）Start the container<