SparseGPT: Massive Language Models Can be Accurately Pruned in One-Shot

本文是LLM系列文章，针对《SparseGPT: Massive Language Models Can be Accurately Pruned in One-Shot》的翻译。

摘要

我们首次证明，大规模生成预训练Transformer（GPT）族模型可以在一次操作中修剪到至少50%的稀疏性，而无需任何重新训练，精度损失最小。这是通过一种名为SparseGPT的新修剪方法实现的，该方法专门设计用于在大规模GPT家族模型上高效准确地工作。我们可以在不到4.5小时的时间内在最大的可用开源模型OPT-175B和BLOOM-176B上执行SparseGPT，并且可以达到60%的非结构化稀疏性，而困惑度的增加可以忽略不计：值得注意的是，在推理时可以忽略这些模型中的1000多亿个权重。SparseGPT可推广到半结构化（2:4和4:8）模式，并与权重量化方法兼容。该代码可在以下网址获得：https://github.com/IST-DASLab/sparsegpt。

1 引言

生成式预训练Transformer（GPT）系列的大语言模型（LLMs）在广泛的任务中展现出了卓越的性能，但由于其庞大的规模和计算成本，难