知来者逆的博客

在人工智能社区中，DeepSeek R1 作为一个具有革命性的开源推理大语言模型（LLM）引起了广泛关注。尽管大多数讨论都集中在它的原始能力上，但很少有人探索它在智能工作流中的潜力——即多个模型动态协作的系统。（70 亿参数的蒸馏模型）：用于复杂推理。阿里巴巴的 Qwen 2.5（70 亿参数）：用于快速对话流程。一个轻量级的智能体框架来协调它们。推理模型是智能体系统的核心，使它能够做出决策并从知识库中生成有见地的回答。

在微调大语言模型（LLM）的过程中，开发者常常会面临一系列技术挑战。显存不足？如果显存资源有限，可以采用 LoRA（低秩适配）技术结合 4-bit 量化，显著降低显存占用，同时保持模型性能。此外，云端训练也是一个不错的选择，借助强大的云服务资源，可以轻松应对大规模模型的训练需求。数据集太小？当数据集规模较小时，模型容易出现过拟合现象，导致无法泛化到新的数据。此时，可以运用数据增强技术，如同义词替换、句子重组等，增加数据的多样性。

随着人工智能（AI）、自然语言处理（NLP）、大语言模型（LLM）技术的不断进步，传统的 LLM 虽然强大，但存在知识有限、准确性不足等问题。而检索增强生成（RAG）的出现，大大弥补了 LLM 的不足，有效克服了这些缺点。

在前面的博客中，介绍了基于python私有化部署了DeepSeek-R1-Distill-Qwen的命令行对话与服务器客服端访问的方式，这两种方法都要基于torch算法框架，安装时还要对应torch的版本，假设安装的torch的版本小2.2,那么可以加载模型时可能获取到"triu_tril_cuda_template" not implemented for 'BFloat16'这个错误。

上个实现了在命令行终端下DeepSeek-R1-Distill-Qwen的模型部署与流式输出，但在日常的生产环境中，基本上是会把模型推理部署在一个服务器上，然后使用客户端调用api接口实现对话。API 是软件间相互传输数据的接口。它在生活中十分常见，比如博物馆订票系统中就使用了 API. 当你在手机应用上订票时，手机实际上发送了一个 HTTP 请求给远程服务器。远程服务器解析该请求。当确认所有字段信息均准确无误后，它才会把你的订票信息录入数据库，并回调成功标识。

DeepSeek-R1-Distill-Qwen 是 DeepSeek 团队基于 DeepSeek-R1 模型通过蒸馏技术生成的一系列轻量化模型。这些模型在保持高性能推理能力的同时，显著降低了计算资源和内存需求，适合在资源受限的环境中部署。DeepSeek-R1-Distill-Qwen 系列模型是通过从 DeepSeek-R1 模型中提取推理模式并迁移到更小的模型架构中生成的。

近年来，通用领域的大型语言模型（LLM），如ChatGPT，已在遵循指令和生成类似人类的响应方面取得了显著成就。这些成就不仅推动了多模态大模型研究的热潮，也催生了如MiniGPT-4、mPLUG-Owl、Multimodal-GPT和LLaVA等多模态大模型的诞生。然而，在医学领域，尤其是针对中文医学数据的研究，多模态大模型的发展相对滞后，这在一定程度上限制了该领域研究的深度和广度。

在缺陷检测中，由于真实世界样本中的缺陷数据极为稀少，有时在几千甚至几万个样品中才会出现一个缺陷数据。因此，以往的模型只需在正常样本上进行训练，学习正常样品的数据分布。在测试时，需要手动指定阈值来区分每种项目的正常和异常实例，然而这并不适用于实际的生产环境。大型视觉语言模型（LVLMs），诸如 MiniGPT - 4 和 LLaVA，已展现出强大的图像理解能力，在各类视觉任务中取得显著性能。那么，大模型能否应用于工业缺陷检测领域呢？AnomalyGPT 对此展开了深入探索。

大型语言模型（LLM）的核心优势在于其庞大的参数集，这些参数是模型学习语言的基石。参数的丰富性赋予了模型深入理解词汇和短语间复杂关系的能力，使得那些拥有数十亿参数的模型能够创作出多样化的文本，并以充满信息的方式应对开放性问题和挑战。模型如ChatGPT，基于Transformer架构，精于理解和创造类人语言，对于任何需要深层自然语言处理的应用来说都是宝贵的资产。然而，它们也存在一些局限，例如可能包含过时的信息、难以与外部系统互动、缺乏对上下文的深入理解，有时甚至会产生看似合理实则错误或毫无意义的回答。

作为开发人员会经常需要通过 API 与这些大模型进行交互。然而，随着应用程序的复杂性和规模不断增长，对高效且高性能的 API 交互的需求变得至关重要。这就是异步编程的亮点，它使我们能够在使用 LLM API 时最大限度地提高吞吐量并最大限度地减少延迟。在这里我们将探索 Python 中异步 LLM API 调用的世界。将涵盖从异步编程的基础知识到处理复杂工作流的高级技术的所有内容。异步编程允许同时执行多个操作而不会阻塞执行的主线程。