AI大模型手机部署指南：Llama、QWen、Gemma、Deepseek免费开源

最新推荐文章于 2025-06-28 11:36:01 发布
最新推荐文章于 2025-06-28 11:36:01 发布
阅读量972 收藏 19
点赞数 19
CC 4.0 BY-SA版权
文章标签： 人工智能 llama LLM Qwen DeepSeek 大模型 大模型入门
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63171455/article/details/147670087

AI大模型在PC端上部署早已司空见惯，标准环境基本上都是：Ollama+AnythingLLM+HuggingFace+AI大模型版本。如何能在手机客户端上部署AI大模型呢？今天就带大家一起来实际操作一下。

部署肯定离不开安装包，咱们以github上的一个开源项目PocketPal为例，给大家演示如何完成安装与配置过程。小白也能操作明白如何利用手机调用这些大模型进行对话和问答，无需连接云端。

保护隐私的同时大幅降低延迟，对喜欢AI的用户是个非常好的实用软件工具。部署非常简单，无需任何设置点点手指头下载安装即可。

由于我使用的是安卓手机，这里就跟大家演示一下安卓手机的操作过程。文章结尾附IOS版本下载链接。

  Google Store应用商店下载

选择Gemma模型下载

验明身份

主要功能

  • • 离线AI辅助：无需联网，语言模型直接在设备上运行

  • • 模型灵活：支持下载并切换多个 SLM，如 DeepSeek R1、Danube 2 和 3、Phi、Gemma 2、Qwen 等

  • • 自动卸载/加载：应用后台运行时，通过卸载模型自动管理内存

  • • 推理设置：可自定义模型参数，包括系统提示、温度、BOS 令牌和聊天模板

  • • 实时性能指标：生成 AI 响应时，可查看每秒令牌数及每个令牌的毫秒数

Hugging Face集成

  PocketPal AI 最新版现已与 Hugging Face 模型集成！在应用内可以直接从 Hugging Face Hub 浏览、下载和运行模型。大家可以根据自己手机的配置大小来选择适合自己的AI模型

离线安装包下载

  GitHub 项目地址：https://github.com/a-ghorbani/pocketpal-ai/releases/tag/v1.8.12

IOS版本下载链接：https://apps.apple.com/us/app/pocketpal-ai/id6502579498

 

 大模型&AI产品经理如何学习

求大家的点赞和收藏，我花2万买的大模型学习资料免费共享给你们，来看看有哪些东西。

1.学习路线图

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。


2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己整理的大模型视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击下方图片前往获取

3.技术文档和电子书 

这里主要整理了大模型相关PDF书籍、行业报告、文档，有几百本，都是目前行业最新的。



4.LLM面试题和面经合集


这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。



👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集***

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

谷歌 Gemma 3n 正式发布：端侧AI模型，小模型也有大实力
Code_流苏：在代码中寻诗意，在实践中觅真知
06-28 1106
Gemma 3n震撼登场，移动AI迎来新的发展？
通过Ollama+Deepseek+AnythingLLM安装部署私有化大模型，并投喂样本数据
weixin_48398799的博客
02-06 7122
近期，国产大模型 DeepSeek 凭借其强大的性能和广泛的应用场景，迅速成为 AI 领域的焦点。然而，随着用户数量的激增，DeepSeek 的在线服务时常面临访问压力，导致响应延迟甚至服务中断的情况。 幸运的是，DeepSeek 作为一款开源模型，为用户提供了本地部署的解决方案。通过将 DeepSeek 部署到本地终端，用户不仅可以摆脱网络依赖，还能随时随地享受流畅的 AI 体验。本地部署后，DeepSeek 无需联网即可直接运行，彻底解决了在线服务的延迟和宕机问题。而且安全更适合一些工作人员。
Google AI Edge 赋能 | 实现 Gemma 3 在移动设备和 Web 上运行
Android开发者
05-28 881
在您的应用中集成 Gemma 3 1B，便可使用自然语言来驱动您的应用，或者根据应用内数据或上下文生成内容，这些功能均可完全定制和微调。在本文中，我们将通过一些在应用中使用 Gemma 3 的案例，帮助您了解如何在 Android 上开始使用 Gemma，我们还会深入介绍一些性能指标，并解释这一切是如何实现的。，了解如何使用自己的数据打造专属 Gemma 3 1B 版本，对其进行量化，并在您自己的应用中使其在移动设备 (CPU 和 GPU) 上运行！在演示应用的模型选择界面上，选择您的模型。
DeepSeek+Ollama+AnythingLLM 本地部署完全指南，打造专属知识库
weixin_44245188的博客
02-05 2954
打开官网地址：https://anythingllm.com/desktop，根据自己的系统选择下载的版本。Ollama 是一个用于本地运行大语言模型（LLMs）的开源工具，提供简单的界面和优化的推理引擎。DeepSeek+Ollama+AnythingLLM 本地部署完全指南，打造专属知识库。，使用户能够在个人设备上高效地加载、管理和运行 AI 模型，而无需依赖云端。其中，deepseek-r1:1.5b 换成适配你本地的模型。官网地址：https://ollama.com/
使用 ollama 部署本地模型，零基础入门到精通，非常详细收藏我这一篇就够了
m0_65555479的博客
08-15 3014
在本地启动并运行大型语言模型。运行Llama 2，Code Llama和其他模型。自定义并创建您自己的。
2024年，国内AI大模型发展报告！
fengdu78的博客
09-08 2054
随着AI技术发展，大模型成为科技竞争新高地、产业新赛道、经济新引擎，我国视其为国家战略，出台政策扶持。大模型广泛应用，推动科技革命与产业变革，面临发展挑战需各界努力。2023年大模型爆发，变革生产生活，国产大模型崛起。大模型与传统行业融合，提升产业效率；赋能金融、医疗等，助力新质生产力发展。大模型需政策法规保障，促进健康发展，服务各行业，注入发展新动能。2024年，多重因素推动大模型发展，政府支持...
五分钟打造你的专属AI助手：Ollama + DeepSeek + AnythingLLM 完整整合指南
yuanmomoya的博客
02-08 1495
预备阶段：确认系统环境符合要求，安装 Ollama、DeepSeek 模型以及 AnythingLLM 客户端。数据导入：整理待收录的文本资料，借助 AnythingLLM 构建知识图谱。模型连接：利用 Ollama 启动 DeepSeek 模型，并将其与 AnythingLLM 对接，实现语言处理与知识管理的无缝衔接。测试优化：通过多轮问答测试，对系统参数和知识库内容进行微调，不断提升问答准确率和响应速度。
编程AI深度实战：大模型哪个好？ Mistral vs Qwen vs Deepseek vs Llama
reekyli的专栏
02-04 2325
随着开源 LLM 空间的发展，越来越多的模型变得专业化，“代码”LLM 变得非常流行。这些 LLM 旨在比其 “常识” 对应物更小，但旨在超越更大的通用模型的编码性能。这些模型以极低的成本提供大型模型的功能，进一步使本地 LLM 空间民主化。特别是，在较小的编码 LLM 领域中，有三个模型在竞争中脱颖而出：Codestral 22B、DeepSeek Coder V2 Lite 14B 和 Qwen 2.5 Coder 7B。于 5 月 29 日发布，这是 Mistral 发布的第一款特定代码模型。
【从Qwen2,Apple Intelligence Foundation,Gemma 2,Llama 3.1看大模型的性能提升之路】
学习，输出==》再学习再输出
08-21 1800
在查看Qwen 2 技术报告中讨论的预训练和后训练方法之前，让我们简单总结一下一些核心规格。Qwen 2 模型有 5 种类型。有 4 种常规（密集）LLM，大小分别为 5 亿、15 亿、70 亿和 720 亿个参数。此外，还有一个 Mixture-of-Experts 模型，具有 570 亿个参数，其中同时激活了 140 亿个参数。（由于架构细节不是这次的重点，我不会过多地介绍 Mixture-of-Experts 模型；
非常可靠，手把手教你本地部署AI大模型-llama3:70b
lvaolan8888的博客
06-06 3667
Llama 3是Meta 公司开发的Llama系列模型的第三个版本，本次提供 8B 和 70B 参数大小的版本。Llama3拥有改进的推理能力。
Gemma3、QwQ、DeepSeek-R1、Llama3.3和Phi4五大模型对比
u010249118的博客
03-20 2463
如需进一步技术细节（如训练方法、量化方案），可参考各模型的官方文档或技术报告。
deepseek从入门到精通
02-08
deepseek从入门到精通
Google 发布了最新的开源大模型 Gemma 2，本地快速部署和体验
老牛啊
07-02 7847
Google 重磅发布了最新版大语言模型Gemma 2，其中 90亿 参数版本适合我们个人在笔记本本地部署，老牛同学通过本文和大家一起，通过2种方式快速部署和体验，当然这2种快速部署模型的方式，也同样适用于其他大模型……
ollama+anythingllm+deepseek R1本地部署
云袂的博客
02-07 4780
ollama+anythingllm+deepseek R1本地部署
10分钟搞定，DeepSeek+Ollama+AnythingLLM 本地部署完全指南，打造专属知识库
m0_59164304的博客
02-06 9792
打开浏览器→下载 Ollama→输入 1 条命令→搞定！这不是魔法，而是本地部署大语言模型的全新方式。Ollama 简化了大型语言模型的运行，让每个人都能在本地轻松体验 AI 的强大。但是，仅仅运行一个大语言模型还不够。如何让它真正理解你的数据，回答你的问题？这时，AnythingLLM 就派上用场了。它能将你的文档、笔记、网页等各种数据源连接到本地 Ollama 运行的 DeepSeek 模型，构建一个真正属于你的、个性化的知识库问答系统。告别在海量信息中苦苦搜索，让 AI 成为你高效的知识助手！关于引入
2024年AI大模型推动新一代具身智能机器人产业发展蓝皮书
09-07 976
产业数字化转型的推进，又会产生关于各行各业生产经营销售等的海量数据，为数字产业化提供源源不断的源头活水和数据资源，推动我国数字产业不断做强做大，催生出数字产品制造业、数字产品服务业、数字技术应用业、数字要素驱动业、数字化效率提升业等数据产业。同时，数字技术与传感、仿生、人工智能、量子通信等新兴技术的有机结合及应用，使超大量高速流动的数据信息流得以跨越空间距离或地域限制，催生出智慧产业、智慧城市、智...
DeepSeek从入门到精通
weixin_46075760的博客
02-09 2830
链接: https://pan.baidu.com/s/1Ap0k4SRZWF_g_zzXS4VPZA?pwd=w33r 提取码: w33r。DeepSeek从入门到精通 通过网盘分享的文件：DeepSeek从入门到精通.pdf。
DeepSeek从入门到精通：全面掌握AI大模型的核心能力
热门推荐
weixin_66401877的博客
02-08 2万+
DeepSeek是中国一家专注于通用人工智能（AGI）研发的科技公司，其核心产品基于自主研发的大模型技术（如推理模型DeepSeek-R1和通用模型），在数学推理、代码生成、逻辑分析等复杂任务上性能比肩OpenAI顶级模型。公司提供智能对话助手、API接口及企业级解决方案，覆盖文本生成（创意写作、摘要翻译）、自然语言理解（语义分析、知识推理）、编程辅助（代码生成与调试）、多模态绘图（SVG、Mermaid图表）等多样化场景，并支持文件解析与联网搜索。
中国信通院：智能体技术和应用研究报告（2025年）
最新发布
weixin_55366265的博客
06-28 1417
任务规划：通过任务分解策略将复杂任务拆分为子任务，结合 ReAct、Reflexion 等技术实现自主规划与动态调整，利用 LLM+P、ToT 等方法解决长期规划问题，并通过 CoH 技术提升与人类价值观的对齐程度，以高效完成目标任务。多体协作架构：集中式、分布式与分层式架构适配不同场景，如中兴通讯的故障监控专家通过多智能体协同，将跨专业故障定位准确率从 70% 提升至 90% 以上。智能体是基于大模型的自主代理，具备感知、决策、执行等能力，能将模型能力转化为任务执行能力，破解大模型 “有脑无手” 困局。
ollama部署私有大模型 知识库
04-01
<think>好的，用户想了解如何使用Ollama部署私有的大型模型知识库。我需要先整理已有的引用内容，看看有哪些相关的步骤和注意事项。 首先，根据引用[1]提到的Ollama+MaxKB部署本地知识库，可能需要结合这两个工具。引用[3]详细说明了如何用Ollama部署本地模型，包括模型选择和运行命令。引用[4]提到环境变量的配置，避免模型占用C盘空间。引用[2]则提到了大模型的应用开发阶段，可能需要涉及到大模型平台的使用。 接下来，我需要将这些信息结构化。首先安装Ollama，然后配置存储路径，接着选择适合的模型，比如Qwen或者Gemma，这些在引用[3]中都有提到。运行模型后，如何结合MaxKB搭建知识库呢？引用[1]提到MaxKB用于部署，可能需要安装并配置MaxKB与Ollama的API对接。 可能还需要注意模型的管理，比如如何加载多个模型，以及知识库的数据准备和处理步骤。引用[3]提到了初学者适合使用较小的模型如Gemma 2B，这可能对用户有帮助。同时，引用[2]中的第七阶段提到使用成熟大模型构建应用，可能需要参考这些模型的文档。 用户的问题还可能涉及到实际应用中的优化和常见问题，比如性能调优或者存储配置，这些在引用[4]的环境变量设置中已经部分解答。此外，确保步骤清晰，分阶段说明，从安装到部署再到应用，让用户能够逐步操作。 最后，生成相关问题时要覆盖安装、配置、模型选择、集成应用和优化等方面，帮助用户全面了解部署过程中可能涉及的各个方面。</think>### 如何使用Ollama部署私有大型模型知识库 #### 一、环境准备与Ollama安装 1. **安装Ollama** - 访问[Ollama官网](https://ollama.ai/)下载对应操作系统的安装包，按指引完成安装。 - 验证安装：终端输入 `ollama --version`，显示版本号即成功[^3]。 2. **配置模型存储路径** - 默认模型存储在`C:\Users\<用户名>\.ollama\models`，可通过设置环境变量 `OLLAMA_MODELS` 指定自定义路径，避免占用系统盘空间[^4]。 #### 二、模型选择与部署 1. **选择适合的模型** - **推荐模型**：支持私有化部署的模型如 `qwen`（千问）、`llama2`、`gemma` 等。例如，`gemma:2b` 适合初学者，体积小且资源需求低[^3]。 - 查看可用模型列表：终端输入 `ollama list`。 2. **运行模型** ```bash ollama run qwen # 启动千问大模型 ``` 首次运行会自动下载模型文件到配置的存储路径。 #### 三、构建知识库系统 1. **集成MaxKB知识库工具** - MaxKB 是一个开源的本地知识库管理系统，支持与Ollama对接。部署步骤： - 下载MaxKB并安装（需Docker环境）。 - 配置MaxKB的模型接口，指向Ollama的API地址（默认 `http://localhost:11434`）[^1]。 2. **数据导入与处理** - 将知识文档（如PDF、TXT）上传至MaxKB，系统会自动解析并向量化存储。 - 通过Ollama的模型接口实现语义搜索和问答功能[^1]。 #### 四、进阶配置与优化 1. **多模型管理** - 使用 `ollama pull <模型名>` 下载其他模型（如 `mistral`），通过 `ollama run <模型名>` 切换使用。 2. **性能调优** - **GPU加速**：若设备支持GPU，安装CUDA驱动后，Ollama可自动调用GPU资源。 - **内存优化**：调整模型参数（如 `num_ctx` 控制上下文长度）减少资源占用[^2]。 #### 五、验证与测试 ```bash curl http://localhost:11434/api/generate -d &#39;{ "model": "qwen", "prompt": "知识库部署的核心步骤是什么？" }&#39; ``` 通过API测试模型与知识库的联动响应。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值