
k8s与AI大模型开发学习笔记
文章平均质量分 85
以nginx在k8s部署为例,首先Kubernetes 安装。接着部署应用程序,编写Deployment YAML定义Pod模板并应用。实现应用程序探索,通过配置资源限制确保稳定运行。暴露服务使应用外部可见,创建Service实现内部访问, 最后应用扩展与应用更新。
半部论语
学习最重要且最难的不是学,而是不学!不是有用就学,而是可学可不学的都不学,才能集中大块时间学习自己真正要学的。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
初步认识Model Context Protocol (MCP) Java SDK
在您的文件中添加以下依赖:<dependencyManagement> <dependencies> <dependency> <groupId>io.modelcontextprotocol.sdk</groupId> &原创 2025-04-16 18:50:47 · 521 阅读 · 0 评论 -
Spring AI Alibaba示例项目深度解析:dashscope-audio子模块详解
全双工通信:支持STT/TTS双向处理流水线混合式调用• 同步(call)• 流式(stream)• 异步(asyncCall + 轮询)生产级特性• @PreDestroy自动清理临时文件• ScheduledExecutorService实现任务状态跟踪• Commons IO进行高效文件操作。原创 2025-04-05 10:37:28 · 268 阅读 · 0 评论 -
Spring AI Alibaba示例项目深度解析:dashscope-chat子模块详解(经典解读版)
核心功能:✅ AI服务集成:基于Spring AI Alibaba框架,提供阿里云DashScope服务的快速接入能力✅ 双模式交互:支持同步阻塞调用与流式响应(SSE),满足不同场景需求✅ 灵活配置:通过实现模型参数动态管理,支持多模型切换技术矩阵:三、代码解析1. 启动类作用:初始化Spring上下文,加载配置文件和依赖。2. ChatClient控制器同步调用:通过方法实现阻塞调用,返回纯文本内容。流式调用:通过方法实现流式响应,适合大模型输出的打字机效果。3. Ch原创 2025-04-05 10:34:12 · 346 阅读 · 0 评论 -
Spring AI vs Spring AI Alibaba:Java开发者如何选择AI开发框架?
通过此模块,开发者可快速构建生产级AI服务,其代码结构已在实际项目中验证,支持日均百万级调用。建议结合阿里云ACM实现配置动态更新,进一步提升系统灵活性。:Spring Boot与阿里云DashScope服务的最小化集成模板。:基于内存缓存的对话历史管理,支持多会话隔离。:同步阻塞调用与流式响应(SSE)完整实现。原创 2025-04-05 10:32:04 · 958 阅读 · 0 评论 -
Spring AI Alibaba示例项目深度解析:helloworld子模块详解(经典解读版)
通过此模块,开发者可快速构建生产级AI服务,其代码结构已在实际项目中验证,支持日均百万级调用。建议结合阿里云ACM实现配置动态更新,进一步提升系统灵活性。:Spring Boot与阿里云DashScope服务的最小化集成模板。:基于内存缓存的对话历史管理,支持多会话隔离。:同步阻塞调用与流式响应(SSE)完整实现。原创 2025-04-05 10:30:55 · 232 阅读 · 0 评论 -
Spring AI Alibaba示例项目准备工作详解
由深度求索(DeepSeek)公司推出的大语言模型系列,包括DeepSeek-R1、DeepSeek-V3等。这些模型在数学、代码、自然语言推理等任务上表现优异,并且有基于知识蒸馏技术得到的增强型模型如DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Qwen-32B等。:这是由阿里云自主研发的大规模语言模型系列,包括了不同版本和优化版本,例如 Qwen2、Qwen2.5-Turbo 等,这些模型在文本生成、对话理解等方面具有出色的表现。原创 2025-04-05 10:29:35 · 304 阅读 · 0 评论 -
大模型时代的基石:向量数据库技术解析与应用实践
大模型时代的基石:向量数据库技术解析与应用实践原创 2025-03-30 16:02:18 · 118 阅读 · 0 评论 -
基于Ollama+AnythingLLM+Deepseek 1.5b构建企业级知识库
基于Ollama+AnythingLLM+Deepseek 1.5b构建企业级知识库原创 2025-03-30 15:58:44 · 102 阅读 · 0 评论 -
从零开始!手把手教你使用 LlamaFactory 微调 Qwen 模型全过程
通过本文的介绍,我们详细讲解了如何在 Linux 环境中部署 LlamaFactory,并以 Qwen2.5-7B-Instruct 模型为例,手把手教你在本地进行模型的微调和评估。LlamaFactory 提供了丰富的功能和易于使用的界面,使得大模型的微调变得更加简单和高效。希望本文能帮助你在人工智能领域迈出坚实的一步,开启你的模型微调之旅!原创 2025-03-06 18:59:10 · 644 阅读 · 0 评论 -
企业大模型需求全景图:SFT、RAG与RL的协同与博弈
有监督微调(SFT)是使用有标签的数据来调整一个预训练模型,使其适应具体的任务。通过最小化预测误差(如交叉熵损失)调整模型参数。原创 2025-03-06 16:57:17 · 282 阅读 · 0 评论 -
如何用Kimi结合Draw.io,10秒内完成一个流程图,效率提升10倍
通过Kimi结合Draw.io的方式,你可以在10秒内完成一个流程图的创建,并根据需求进行灵活调整。这种方法不仅节省了大量时间,还提升了流程图的质量。如果你还在为手动绘制流程图而烦恼,不妨尝试这种高效的方法,让你的工作效率提升10倍!希望这篇文章能帮助你快速掌握Kimi和Draw.io的结合使用方法,让流程图绘制变得轻松又高效!如果还有其他问题,欢迎随时交流。的工作效率提升10倍!希望这篇文章能帮助你快速掌握Kimi和Draw.io的结合使用方法,让流程图绘制变得轻松又高效!原创 2025-03-03 09:23:29 · 340 阅读 · 0 评论 -
开源AI客户端选型进阶指南:技术决策树与优化实践
通过系统化的技术验证(建议至少进行3轮压力测试)和成本效益分析,推荐采用渐进式部署策略,优先在非核心业务场景验证技术方案,逐步扩展至关键业务系统。AnythingLLM+本地向量库。AnythingLLM检索监管文档。Chatbox+本地微调模型。Chatbox+私有化部署。加密请求(HTTPS)是否需要企业级功能?是否需要多模态支持?原创 2025-02-23 18:23:48 · 150 阅读 · 0 评论 -
开源RAG主流框架有哪些?如何选型?
开源RAG主流框架有哪些?如何选型?原创 2025-02-23 18:10:35 · 709 阅读 · 0 评论 -
RAG的定义,为什么需要RAG,以及RAG的工作流程、优缺点以及使用场景
RAG的定义,为什么需要RAG,以及RAG的工作流程、优缺点以及使用场景原创 2025-02-23 18:09:27 · 235 阅读 · 0 评论 -
基于Ollama+AnythingLLM+Deepseek 1.5b构建企业级知识库
通过本文的实践,您可以在CentOS环境下快速搭建一个企业级的知识问答系统。结合Ollama、Deepseek 1.5b和AnythingLLM,不仅能够实现高效的中文知识管理,还能保障数据的私有化和安全性。希望本文对您的项目有所帮助!原创 2025-02-23 17:40:31 · 1127 阅读 · 0 评论 -
Linux CentOS 上 Ollama 的安装与部署:从入门到实践
Ollama 是一个开源的 AI 模型管理工具,专注于简化大模型的部署和使用。它支持多种开源模型(如 LLaMA、Mistral 等),并提供了高效的模型推理能力。Ollama 的设计目标是让开发者能够轻松地在本地或边缘设备上运行大模型,而无需复杂的配置和高昂的硬件成本。Ollama 为开发者提供了一个简单而强大的工具,用于在本地环境中部署和管理大模型。通过本文的介绍,您可以在 CentOS 系统上快速安装 Ollama,并部署如 LLaMA2 等热门模型。原创 2025-02-23 17:37:54 · 1343 阅读 · 0 评论 -
什么是大模型以及如何部署大模型
1.1 大模型的定义与应用场景大模型是指具有大规模参数和复杂计算结构的机器学习模型,通常由深度神经网络构建而成,拥有数十亿甚至数千亿个参数。这些模型通过训练海量数据来学习复杂的模式和特征,具有强大的泛化能力,能够处理更加复杂的任务和数据。大模型广泛应用于自然语言处理(NLP)、计算机视觉(CV)、语音识别、推荐系统等领域。1.2 常见开源大模型LLaMA:由Meta开发的开源语言模型,以高效性和高性能著称,适用于多种自然语言处理任务。原创 2025-02-16 17:18:19 · 227 阅读 · 0 评论 -
DeepSeek:定义、行业影响及对中年程序员的机遇与挑战
DeepSeek是一种高性能、低成本且开源的人工智能模型,其核心优势在于通过技术创新(如DualPipe训练框架、8位浮点量化技术、混合专家模型等)大幅降低了训练和推理成本。DeepSeek的开源策略允许用户自由使用、修改和商业化其模型权重、训练框架及数据管道,极大地降低了AI技术的使用门槛。这种模式不仅推动了AI技术的普惠化,还加速了全球技术的协同创新。DeepSeek作为AI领域的新突破,不仅通过技术创新和开源策略重塑了行业格局,还为中年程序员带来了前所未有的机遇与挑战。原创 2025-02-16 17:16:42 · 286 阅读 · 0 评论 -
第二章:初步了解Hugging Face与如何使用Hugging Face
Hugging Face 截止目前拥有预训练模型数:584,036数据集:127,927,堪称AI 界的github。原创 2024-04-20 19:51:11 · 1676 阅读 · 0 评论 -
第三章:认识colab以及如何通过colab来演示Gemini API调用实践
无需任何配置免费使用 GPU轻松共享无论您是一名学生数据科学家还是AI 研究员,Colab 都能够帮助您更轻松地完成工作。Colab官网地址: https://colab.research.google.com/使用入门您正在阅读的文档并非静态网页,而是一个允许您编写和执行代码的交互式环境,称为Colab 笔记本。例如,以下代码单元格86400要执行上述单元格中的代码,请点击选择它,然后按代码左侧的“播放”按钮,或使用键盘快捷键“Command/Ctrl+Enter”。原创 2024-04-20 19:54:26 · 1407 阅读 · 0 评论 -
第一章:JetBrains IDE中如何集成开发者的高效助手【通义灵码】
后续作者会围绕通义灵码能为程序员做什么进行探索和实践,并分享实践经验。通义灵码团队对业态的无私奉献,提高程序员的编程效率和质量。绕通义灵码能为程序员做什么进行探索和实践,并分享实践经验。通义灵码团队对业态的无私奉献,提高程序员的编程效率和质量。原创 2024-04-20 19:48:12 · 923 阅读 · 0 评论 -
第十二章:掌握kubectl常用命令
- 掌握kubectl常用命令- 掌握kubectl资源查看、创建、更新、删除、清理以及调试交互等常用命令原创 2024-04-14 15:59:00 · 192 阅读 · 0 评论 -
第十一章:使用 kubectl 执行滚动更新
与应用程序扩展类似,如果 Deployment 是公开的,Service 在更新期间仅将流量负载均衡到可用的 Pod。可用的 Pod 是指应用程序对于用户可用的实例。将应用程序从一个环境升级到另一个环境(通过容器镜像更新)回滚到以前的版本持续集成和持续交付应用程序,无需停机如果 Deployment 是公开的,Service 在更新期间仅将流量负载均衡到可用的 Pod。在下面的交互式教程中,我们将应用程序更新为新版本,并执行回滚。原创 2024-04-14 15:57:51 · 305 阅读 · 0 评论 -
第十章:如何使用kubectl 扩缩应用,运行应用程序的多个实例
对 Deployment 横向扩容将保证新的 Pod 被创建并调度到有可用资源的 Node 上,扩容会将 Pod 数量增加至新的预期状态。将 Pods 数量收缩到 0 也是可以的,这会终止指定 Deployment 上所有的 Pod。运行应用程序的多个实例,需要有方法在它们之间分配流量。Service 有一个集成的负载均衡器, 将网络流量分配到一个可公开访问的 Deployment 的所有 Pod 上。服务将会一直通过端点来监视 Pod 的运行,保证流量只分配到可用的 Pod 上。原创 2024-04-04 13:10:05 · 512 阅读 · 0 评论 -
第九章: 如何使用 minikube tunnel
如何使用 minikube tunnel。原创 2024-04-04 13:08:18 · 337 阅读 · 0 评论 -
第八章:k8s如何使用 Service 暴露你的应用
了解 Kubernetes 中的 Service;了解标签(Label)和选择算符(Selector)如何与 Service 关联; 在 Kubernetes 集群外用 Service 暴露应用;原创 2024-04-02 21:14:39 · 377 阅读 · 1 评论 -
第七章:minikube如何查看 Pod 和节点
了解 Kubernetes Pod、了解 Kubernetes 节点以及对已部署的应用故障排除。原创 2024-04-02 21:11:43 · 229 阅读 · 0 评论 -
第六章:使用 kubectl 创建 Deployment
- 学习应用的部署。- 使用 kubectl 在 Kubernetes 上部署第一个应用。原创 2024-04-02 21:08:01 · 517 阅读 · 0 评论 -
第五章:kubectl 安装
kubectl 安装。原创 2024-04-02 21:03:25 · 216 阅读 · 0 评论 -
第四章:Minikube生命周期管理命令
Minikube生命周期管理命令。原创 2024-04-02 21:02:21 · 618 阅读 · 0 评论 -
第三章:使用 Minikube 创建集群
使用 Minikube 创建集群。原创 2024-03-31 12:10:02 · 333 阅读 · 0 评论 -
第二章:Kubernetes 能为我们做什么?
Kubernetes 能为我们做什么原创 2024-03-31 12:08:41 · 119 阅读 · 0 评论 -
第一章:Kubernetes入门教程简介
1、虚拟机一台:4CPU 4G2、操作系统:CentOS73、Docker4、MinikubeKubernetes(简称K8s)是一个开源的容器编排引擎,用于自动化部署、扩展和管理容器化应用程序。它提供了一种跨主机集群的容器编排解决方案,能够轻松处理应用程序的部署、扩展和运维。原创 2024-03-31 12:07:04 · 214 阅读 · 0 评论