TGI以使用huggingface镜像Docker启动

盖丽男

于 2024-12-13 09:11:06 发布

阅读量467

点赞数 1

CC 4.0 BY-SA版权

分类专栏：系统运维文章标签： docker 容器运维

本文链接：https://blog.csdn.net/zhemeban/article/details/144441612

系统运维专栏收录该内容

12 篇文章

订阅专栏

想装个TGI跑模型，折腾半天把镜像下载下来了，如下：

docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/huggingface/text-generation-inference:2.4.0
docker tag  swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/huggingface/text-generation-inference:2.4.0  ghcr.io/huggingface/text-generation-inference:2.4.0

结果启动还需要从huggingface下载模型，huggingface当然是访问不通的，可以使用hf镜像站下载，启动命令如下：

docker run --gpus all --shm-size 1g -p 8080:80 -v $volume:/data -e HF_ENDPOINT="https://hf-mirror.com" ghcr.io/huggingface/text-generation-inference:2.4.0 --model-id $model