MMDeploy模型部署全流程指南

原创于 2025-06-19 09:14:32 发布 · 316 阅读

CC 4.0 BY-SA版权

MMDeploy模型部署全流程指南

mmdeploy OpenMMLab Model Deployment Framework 项目地址: https://gitcode.com/gh_mirrors/mm/mmdeploy

项目概述

MMDeploy是一个功能强大的模型部署工具集，专门为OpenMMLab系列算法提供端到端的部署解决方案。它能够将训练好的PyTorch模型高效地转换为多种推理引擎支持的格式，并提供了跨平台的推理SDK，大大简化了从训练到部署的整个流程。

核心功能架构

MMDeploy的部署流程主要包含三个关键组成部分：

模型转换器(Model Converter)
负责将PyTorch模型转换为目标推理引擎支持的格式，支持ONNX、TorchScript等中间表示(IR)格式，并能进一步转换为特定后端模型。
MMDeploy模型(MMDeploy Model)
包含转换后的后端模型和完整的推理元信息，为SDK提供完整的推理上下文。
推理SDK(Inference SDK)
封装了预处理、推理和后处理的完整流程，提供多语言接口(C++/Python/C#/Java等)。

环境准备指南

基础环境配置

Python环境
推荐使用Python 3.8+，可通过Miniconda创建隔离环境：
```
conda create --name mmdeploy python=3.8 -y
conda activate mmdeploy
```

PyTorch安装
根据硬件环境选择对应版本：

GPU环境：

conda install pytorch torchvision cudatoolkit=11.3 -c pytorch

CPU环境：

conda install pytorch torchvision cpuonly -c pytorch

MMDeploy安装方案

安装MMCV基础库

pip install -U openmim
mim install "mmcv>=2.0.0"

安装MMDeploy核心包

模型转换工具：
```
pip install mmdeploy==1.3.1
```

推理运行时(按需选择)：

# CPU版本
pip install mmdeploy-runtime==1.3.1
# GPU版本
pip install mmdeploy-runtime-gpu==1.3.1

推理引擎安装

TensorRT安装示例：

pip install TensorRT-8.2.3.0/python/tensorrt-8.2.3.0-cp38-none-linux_x86_64.whl
export TENSORRT_DIR=/path/to/TensorRT-8.2.3.0
export LD_LIBRARY_PATH=${TENSORRT_DIR}/lib:$LD_LIBRARY_PATH

ONNX Runtime安装示例：
```
pip install onnxruntime-gpu==1.8.1
```

模型转换实战

以MMDetection中的Faster R-CNN模型为例，展示完整转换流程：

python mmdeploy/tools/deploy.py \
    mmdeploy/configs/mmdet/detection/detection_tensorrt_dynamic-320x320-1344x1344.py \
    mmdetection/configs/faster_rcnn/faster-rcnn_r50_fpn_1x_coco.py \
    checkpoints/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth \
    mmdetection/demo/demo.jpg \
    --work-dir mmdeploy_model/faster-rcnn \
    --device cuda \
    --dump-info

关键参数说明：

第一个参数：部署配置文件，定义转换流水线
第二个参数：原始模型配置文件
第三个参数：训练好的模型权重
--work-dir：指定输出目录
--device：指定转换设备

模型推理方式

1. 使用转换器API推理

from mmdeploy.apis import inference_model

result = inference_model(
    model_cfg='mmdetection/configs/faster_rcnn/faster_rcnn_r50_fpn_1x_coco.py',
    deploy_cfg='mmdeploy/configs/mmdet/detection/detection_tensorrt_dynamic-320x320-1344x1344.py',
    backend_files=['mmdeploy_model/faster-rcnn/end2end.engine'],
    img='mmdetection/demo/demo.jpg',
    device='cuda:0')

2. 使用SDK推理

Python示例：

from mmdeploy_runtime import Detector
import cv2

detector = Detector(model_path='mmdeploy_models/faster-rcnn', 
                   device_name='cuda', 
                   device_id=0)
img = cv2.imread('input.jpg')
bboxes, labels, _ = detector(img)

C++示例：

#include "mmdeploy/detector.hpp"

mmdeploy::Model model("mmdeploy_model/faster-rcnn");
mmdeploy::Detector detector(model, mmdeploy::Device{"cuda", 0});
cv::Mat img = cv::imread("input.jpg");
auto dets = detector.Apply(img);

模型评估方法

使用测试工具评估部署模型：

python mmdeploy/tools/test.py \
    mmdeploy/configs/detection/detection_tensorrt_dynamic-320x320-1344x1344.py \
    mmdetection/configs/faster_rcnn/faster_rcnn_r50_fpn_1x_coco.py \
    --model mmdeploy_model/faster-rcnn/end2end.engine \
    --metrics accuracy speed \
    --device cuda:0