MagicPIG: GPU-CPU协同的LLM推理优化框架

MagicPIG: GPU-CPU协同的LLM推理优化框架

MagicPIG [ICLR2025 Spotlight] MagicPIG: LSH Sampling for Efficient LLM Generation 项目地址: https://gitcode.com/gh_mirrors/ma/MagicPIG

1. 项目介绍

MagicPIG（GPU-CPU协同的Locality-Sensitive Hashing LLM推理优化框架）是一个为了探索GPU-CPU系统在Locality-Sensitive Hashing（LSH）支持下的可能性的开源项目。该框架通过LSH采样技术，显著提高了大型语言模型（LLM）的推理效率，能够在不同的应用场景下，通过GPU和CPU的协同工作，实现推理性能的大幅提升。

2. 项目快速启动

环境准备

• 硬件要求：支持AVX512的Intel CPU。若使用BFloat16，需要支持AVX512_BF16的Intel CPU，GCC版本需大于等于11。
• 推荐Python版本：3.9/3.10。

安装步骤

# 创建并激活虚拟环境
conda create -n magicpig
conda activate magicpig

# 安装依赖
bash install.sh

生成示例

# 进入示例目录
cd examples

# 执行生成命令
numactl -C 0-31,52-83 -m 0,1 \
python generation.py \
--model meta-llama/Meta-Llama-3.1-8B-Instruct \
--M 8192 \
--G 256 \
--K 10 \
--L 170 \
--template meta-llama3 \
--data ../data/story.txt

基准测试

# 进入示例目录
cd examples

# 执行基准测试命令
numactl -C 0-31,52-83 -m 0,1 \
python bench.py \
--model meta-llama/Meta-Llama-3.1-8B-Instruct \
--B 1 \
--P 98000 \
--M 98304 \
--K 10 \
--L 150

3. 应用案例和最佳实践

MagicPIG框架的应用案例包括但不限于自然语言处理中的文本生成、推理等任务。以下是一些最佳实践：

• 参数调优：根据具体任务和硬件条件，调整LSH的K和L参数，以获得最佳性能。
• 资源分配：合理分配GPU和CPU资源，确保系统在多任务处理时能够高效运行。

4. 典型生态项目

目前，MagicPIG项目支持以下模型：

• llama3-8b-chat-128k：meta-llama/Llama-3.1-8B-Instruct
• llama3-8b-chat-512k：princeton-nlp/Llama-3-8B-ProLong-512k-Instruct
• mistral-7b-chat-512k：aws-prototyping/MegaBeam-Mistral-7B-512k
• llama3-70b-chat-128k：meta-llama/Llama-3.1-70B-Instruct

以上是MagicPIG项目的简要介绍和快速启动指南。用户可以根据具体的任务需求和硬件条件，进一步探索和优化框架的使用。

MagicPIG [ICLR2025 Spotlight] MagicPIG: LSH Sampling for Efficient LLM Generation 项目地址: https://gitcode.com/gh_mirrors/ma/MagicPIG