LLM大模型压缩——ICLR 2024 SliceGPT（原理详解）

已于 2024-04-14 17:36:26 修改
阅读量2.9k 收藏 32
点赞数 39
CC 4.0 BY-SA版权
分类专栏： 大模型剪枝 LLM笔记 文章标签： transformer 人工智能 深度学习
于 2024-04-12 17:48:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45817413/article/details/137687211
本文介绍了一种新的模型压缩方法SliceGPT，通过删除Transformer模型中的权重矩阵行和列，降低嵌入维度，无需恢复微调。作者利用正交变换和PCA确保剪枝后模型性能不变，提供了一种高效且无需额外微调的压缩策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

ICLR 2024 SliceGPT: Compress Large Language Models by Deleting Rows and Columns

背景

模型压缩技术可以分为四类：蒸馏distillation、张量分解tensor decomposition（包括低秩分解low-rank factorization）、剪枝pruning和量化quantization。

许多剪枝方法需要在剪枝后进行恢复微调rbecovery fine-tuning（RFT）以保持性能，这使得剪枝成本高昂且难以扩展。

为了解决这一问题，作者提出了一个名为SliceGPT的方法。SliceGPT 的核心思想是删除权重矩阵中的行和列来降低网络的嵌入维数，同时保持模型性能，并且不需要recovery fine-tuning (RFT) 。

核心思想

如下图最右所示，SliceGPT 会剪掉权重矩阵的整行或整列，对 X X X、 W W W降维，达成的结果是权重矩阵变小，降低了神经网络的嵌入维度。

假设原本 X X X、 W W W有 D D D维，现在要使 X X X、 W W W降为 k k k维。显然，如果直接砍掉 X X X、 W W W中的一些维度，例如将第 k + 1... D k+1...D k+1...D维砍掉后，后 D − k D-k D−k列的信息就会丢失，对网络的影响就会很大。

作者的办法是在切片之前，先对网络进行一次正交转换 X ′ = X Q , W ′ = Q T W X'=XQ,W'=Q^T W X′=XQ,W′=QTW（这里的变换矩阵 Q Q Q是一个 n n n<

最低0.47元/天 解锁文章
[晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型、扩散模型、视觉语言导航
勿忘初心,方得始终
01-29 1607
大型视觉语言模型（LVLMs）通过整合来自不同模态的丰富信息，可以全面理解世界，在各种多模态下游任务上取得显著进步。然而，由于其巨大的计算/能源成本和碳消耗，部署LVLMs通常是有问题的。这些问题使得采用传统的迭代全局修剪是不可行的，由于计算整个大模型的Hessian矩阵进行稀疏化，这是昂贵的。或者，一些研究最近提出了逐层修剪方法，以避免全局修剪的昂贵计算，并根据模型权重在层内的重要性有效地压缩模型权重。然而，由于缺乏全局视角，它们经常遭受次优模型压缩。
SparseGPT: Massive Language Models Can be Accurately Pruned in One-Shot
c_cpp_csharp的专栏
12-10 534
我们首次证明，大规模生成预训练Transformer（GPT）族模型可以在一次操作中修剪到至少50%的稀疏性，而无需任何重新训练，精度损失最小。这是通过一种名为SparseGPT的新修剪方法实现的，该方法专门设计用于在大规模GPT家族模型上高效准确地工作。我们可以在不到4.5小时的时间内在最大的可用开源模型OPT-175B和BLOOM-176B上执行SparseGPT，并且可以达到60%的非结构化稀疏性，而困惑度的增加可以忽略不计：值得注意的是，在推理时可以忽略这些模型中的1000多亿个权重。
20240623日志：大模型压缩-sliceGPT
JiajunSun的博客
06-24 838
不改变transformer的结构。对于transformer中的每一attention或FFN层都有线性层，同时由于transformer中有残差连接（图中的。是transformer中一个块的输出，在经过RMSNorm（对每一行。引入到所有之前的层（一直到编码阶段）和所有之后的层（一直到LM头）。块），在训练集中抽取一些数据作为校准数据，喂给模型用来从前到后。图中的阴影是表示丢弃掉这部分数据。中的每一个元素拉回到0上下，与下一步的。引入每一块的线性层，所以需要把矩阵。)是一个矩阵操作，表示将一个向量。
SparseGPT：大语言模型可精准实现单次剪枝
最新发布
tongxianchao的博客
04-11 829
本研究首次证明，大规模生成式预训练变换器（GPT）家族模型可通过单次剪枝实现至少50%的稀疏度，且无需任何重训练过程，精度损失极低。这一突破源于我们提出的新型剪枝方法SparseGPT——专为海量GPT类模型设计的高效精准剪枝方案。实验表明，SparseGPT可在4.5小时内完成当前最大开源模型OPT-175B和BLOOM-176B的剪枝处理，实现60%非结构化稀疏度的同时困惑度几乎无增长：这意味着推理阶段可忽略超过1000亿个权重参数。
论文笔记 SliceGPT: Compress Large Language Models By Deleting Rows And Columns
qq_43349296的博客
11-25 2163
的后面）
你知道什么是SparseGPT算法吗
qq_40427481的博客
06-22 826
总之，SparseGPT算法通过剪枝的方式减少了GPT模型中的参数数量和计算量，从而提高了模型的效率和速度。具体来说，在给定一个固定的剪枝掩码M后，该算法使用HUj并更新那些位于列“右侧”的剩余权重，逐步修剪权重矩阵W的每一列中的权重处理。SparseGPT是一种新的大规模近似稀疏回归算法，它通过剪枝减少模型中的冗余连接和参数，从而提高了模型的效率和速度。它通过剪枝的方式减少模型中的冗余连接和参数，从而减少了训练和推理的计算量，并提高了模型的效率和速度。除了其核心算法外，该算法还有其他的特点。
全网最细剖析SparseGPT算法实现 | 图解SparseGPT算法
qq_45832461的博客
03-26 1520
全网最细剖析SparseGPT算法实现原理，图解SparseGPT算法实现过程，深入浅出SparseGPT算法，图文并茂，细致讲解每行代码的作用，以插图形式理解。
GPT-3剪枝算法来了！无需微调，1750亿参数模型剪50%还提点
Paper weekly
03-16 2046
©Paperweekly 原创 · 作者 | An.单位 | 中科院自动化所研究方向 | 计算机视觉、模型压缩论文标题：SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot论文链接：https://arxiv.org/pdf/2301.00774.pdf本文提出了首个可以在千亿参数模型上高效准确工作的一次性剪...
前沿论文速递24.2.2
qitazhang的博客
02-02 1058
前沿论文速递，github高星论文
NLP不断突破界限，2023 十篇必读的顶级NLP论文！
yinizhilianlove的博客
04-07 4159
来源:（每日干货分享！！编辑: ShuYini校稿: ShuYini时间: 2022-10-23。
探索高效能：SparseGPT - 一键式大规模语言模型压缩
gitblog_00028的博客
05-20 840
探索高效能：SparseGPT - 一键式大规模语言模型压缩 sparsegptCode for the ICML 2023 paper "SparseGPT: Massive Language Models Can Be Accurately Pruned in One-Shot".项目地址:https://gitcode.com/gh_mirrors/sp/sparsegpt 在人工智能领域...
SparseGPT:一次性准确剪枝大规模语言模型的创新技术
Nifc666的博客
09-05 1059
近日,来自IST-DASLab的研究团队提出了一种名为SparseGPT的创新模型剪枝方法,可以在一次操作中将大规模语言模型剪枝至少50%,且几乎不损失精度。SparseGPT的核心思想是通过一种高效的剪枝算法,在一次操作中识别并移除模型中的冗余参数,从而大幅降低模型规模。与传统的迭代式剪枝方法不同,SparseGPT可以在不需要反复训练的情况下,一次性完成高比例的模型剪枝。这些技术的组合使得SparseGPT能够在极短的时间内完成大规模模型的高比例剪枝,同时保持模型性能几乎不变。
微调大模型优化揭秘——什么时候该Finetune？什么时候用Prompt？
QWYF123的博客
01-15 1239
微调优化篇
第一阶段_剪枝方向文献+个人理解
ExcitingYi的博客
11-18 920
前段时间搞了一个FPGA竞赛，创新了（也不知道是不是首创，反正自己没见过别人用就是自己首创）一个很没道理的Ts Pruning（当时就想到了The Shy），设计了一个很拉跨的加速器…有一段时间没看文献了，现在竞赛结束了也复习一下自己之前看得文献。说说个人理解，真的是纯个人见解，欢迎讨论。 结构化剪枝。   在项目早期看得大部分文章都是结构化剪枝，主要是那时候对剪枝的了解还不是特别深入，现在感觉近几年结构化剪枝的文章意义不是特别大，看多了有点浪费时间。顶会的文章提出一个看起来比较新颖的想法能把sota给提升
大语言模型LLM量化激活outliers异常值抑制
LuchangLi 的专栏
06-03 4907
突破性技术: 大语言模型LLM量化激活outliers异常值抑制
谷歌ICLR 2024力作：从压缩视角看语言大模型
Python_cocola的博客
10-26 709
已有研究表明，预测模型可以转化为无损压缩器，反之亦然。近年来，机器学习领域逐渐专注于训练规模越来越大、性能越来越强的自监督（语言）模型。由于这些大型语言模型展现了强大的预测能力，因此在压缩方面也具有潜力。在本研究中，我们主张从压缩的视角审视预测问题，并评估大型（基础）模型的压缩能力。我们证明，大型语言模型不仅是强大的通用预测器，压缩视角还为理解其扩展规律、分词方法和上下文学习提供了新的见解。
聊一聊大模型应用落地那些事
Kaiyuan_sjtu的博客
06-28 116
作者|混沌福王整理|NewBeeNLPhttps://mp.weixin.qq.com/s/IncGbYB7t7m5UNN4Lgi14A本文是一篇内部的个人分享（已无敏感信息） ，目的是增加产品、开发同学对 LLM 的理解， 以降低沟通中的阻力，更好推进落地。以下经脱敏后的原文:大模型并不神奇很多人听到"大模型"这个词可能会觉得很神秘，其实，LLM 就是神经网络，只是很大的神经网络，相对...
LLM-Pruner 教程
gitblog_01082的博客
08-13 626
LLM-Pruner 教程 LLM-Pruner[NeurIPS 2023] LLM-Pruner: On the Structural Pruning of Large Language Models. Support LLaMA, Llama-2, BLOOM, Vicuna, Baichuan, etc.项目地址:https://gitcode.com/gh_mirrors/ll/LLM-...
LLM大语言模型在C#中的应用实例
标签中的"LLM 大语言模型 C# Pleisto.Flappy"表明了这个示例项目可能涉及到大语言模型的使用，C#是微软开发的一种面向对象的编程语言，通常用于开发Windows应用程序、游戏、数据库等。标签中的"Pleisto"可能表示这个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值