Knowledge Distillation and Student-Teacher Learning for Visual Intelligence

最新推荐文章于 2025-05-11 23:27:05 发布
最新推荐文章于 2025-05-11 23:27:05 发布
阅读量558 收藏
点赞数
分类专栏： Distilling Survey Paper 文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/130994202
版权
本文全面探讨了知识蒸馏（KD）及其在视觉智能中的应用，包括从单一到多教师的蒸馏策略，无数据、小样本和跨模态学习的情况。还讨论了在线和无教师蒸馏，以及标签需求和无标签蒸馏的挑战。此外，研究了新学习度量、对抗学习和图表示在KD中的作用，并展望了未来的研究方向，如NAS、GNN和跨领域集成。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是蒸馏学习综述系列的第四篇文章，Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New Outlooks的一个翻译。

视觉智能的知识蒸馏与学生-老师学习:回顾与新展望

摘要

1 引言

2 KD是什么？为什么要关注它？

3 KD的理论分析

4 基于教师数量的KD

4.1 从一个老师进行蒸馏

4.1.1 来自logits的知识

4.1.2 来自中间层的知识

4.2 从多个教师进行蒸馏

4.2.1 从logits集合中进行蒸馏

4.2.2 从特征集合中进行蒸馏

4.2.3 通过统一数据源进行蒸馏

4.2.4 从单教师到多个子教师

4.2.5 从异构的老师中定制学生

<

了解本专栏 订阅专栏 解锁全文 超级会员免费看
多教师知识蒸馏综述-分类(Knowledge Distillation and Student-Teacher Learning for Visual Intelligence)
yuuka696的博客
12-06 5004
虽然在常见的S-T KD范式下已经取得了令人印象深刻的进展，即知识从一个大容量的教师网络转移到一个学生网络。在这种情况下，知识能力相当有限，为此，一些工作探索从多个老师或一群老师那里学习一个便携式学生。在实践中，学生不仅向一个老师学习，而是学习知识的概念，有来自同一任务或不同任务的指导。通过这种方式，学生可以合并和吸收来自多个教师网络的各种知识表示的插图，并构建一个全面的知识系统。因此，人们提出了许多新的KD方法。
【AI视野·今日CV 计算机视觉论文速览 第187期 part1】Fri, 18 Dec 2020
TomRen
12-18 2210
AI 视野 · 今日CV 计算机视觉论文速览----->点云补全、超分辨率补全、三维重建、图像相关性检索、降尺度降水数据集。
[论文翻译]Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New
weixin_44189610的博客
02-14 2892
作者简介： 发布期刊：TPAMI 作者单位：韩国科学技术院（KAIST） 作者1：Lin Wang（机械工程系博士生），研究兴趣包括底层视觉（图像超分辨率和去模糊）、基于事件相机的视觉、深度学习（GAN、知识迁移、对抗攻击、Few-shot learning）、VR/AR。 作者2：Kuk-Jin Yoon（机械工程系副教授），研究兴趣包括基于视觉的ADAS、立体视觉、三维重建、视觉目标跟踪、SLAM和SFM。 论文概要： 该论文是对于网络轻量化中的知识蒸馏的综述。系统的分析了只是蒸馏的研究现状，并 正文翻
Knowledge Distillation & Student-Teacher Learning for Visual Intelligence: A Review & New Outlooks
qq_43812519的博客
06-08 1048
论文地址：http://arxiv.org/abs/2004.05937 github地址：无 这是篇关于知识蒸馏的综述文章。知识蒸馏被认为是用于模型压缩的非常有效的一种方式。本文作者从模型压缩和知识迁移两个应用场景概述了近年来对知识蒸馏的研究。 Outlines 知识蒸馏的定义 由Hinton等人提出，表示较小规模的学生网络的训练过程由较大规模的教师网络的监督进行。其目标函数可表示为： 其中H为损失函数类型，y是真实标签，σ\sigmaσ是含有温控系数TTT的softmax函数，zs,ztz_s, z_
TPAMI2022 Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and
practical_sharp的博客
12-06 1138
在常见的单一教师（S-T）知识蒸馏（KD）范式下，已经取得了令人瞩目的进展，即知识从一个高容量的教师网络转移到一个学生网络。然而在这种设定下，知识容量相当有限 [48]，并且在某些特殊情况（如跨模型知识蒸馏 [82]）下，知识多样性也很匮乏。为此，一些研究工作探索了从多个教师或教师集合中学习一个可迁移的学生模型。这背后的直觉可以用人的学习认知过程来类比解释。在实际情况中，学生并非仅仅从单个教师那里学习，而是在同一任务上接受多个教师的有益指导，或者在不同任务上接受不同教师的指导时，能更好地学习某个知识概念。
知识蒸馏综述
xys430381_1的专栏
06-16 1372
参考： 知识蒸馏简述（一） 知识蒸馏简述（二） 知识蒸馏是什么？一份入门随笔 【经典简读】知识蒸馏(Knowledge Distillation) 经典之作（xys：关于温度T的讨论）
知识蒸馏基础及Bert蒸馏模型
小白胖爱学习-的博客
04-05 4648
为了提高模型准确率，我们习惯用复杂的模型（网络层次深、参数量大），甚至会选用多个模型集成的模型，这就导致我们需要大量的计算资源以及庞大的数据集去支撑这个“大”模型。但是，在部署服务时，就会发现这种“大”模型推理速度慢，耗费内存/显存高，这时候我们又会想念“小”模型的好。那么，有没有一种方法能够尽可能继承大模型的泛化能力，又像小模型一样轻量级呢？今天来介绍一种模型压缩的方法——蒸馏（Distillation）。
整理研究方向（1）【未完成】
qq_35780315的博客
07-26 2551
整理从交通流量预测发展到其他方向的团队文章，并研究调研我们可以研究的方向
Knowledge distillation comprehensive survey
qq_45027419的博客
03-28 441
利用教师-学生体系结构的知识提炼的自然特性，知识提炼被用作解决对抗性攻击或深度模型的扰动的有效策略（Papernot等人，2016年;罗斯和多希-贝莱斯，2018年;Goldblum等人，2020年;Gil等人，2019）以及具体而言，敌对样本的扰动可以通过蒸馏由教师网络的稳健输出克服（Ross和Doshi-Velez，2018;Papernot等人，2016年）。当然，知识提炼还有其他特别有趣的应用，例如神经体系结构搜索（Macko等，2019年;
知识蒸馏 综述 Knowledge Distillation: A Survey
热门推荐
doctor_strange****
04-26 1万+
Knowledge Distillation: A Survey 本文译自Knowledge Distillation: A Survey，论文地址：https://arxiv.org/abs/2006.05525 （有翻译不周之处，敬请指正） 1. Introduction 深度学习取得了巨大进步，但是受限于庞大的计算量和参数量很难实际应用与资源受限设备上。 为了使深度模型更加高效，主要有以下两个方向的研究： 高效的网络模块构建：如MobileNets, ShuffeNets .
Knowledge Distillation
zhangjf26的博客
08-07 5170
从模型压缩的角度调查了有关蒸馏相关的进展。与视觉应用型论文不同模型压缩的论文开源的比例并不多，相比较之下蒸馏相关工作算是开源比例大的。下面主要从是否开源或实现两方面按照发表时间列出相关论文和实现。并在有源码实现了论文中做了进一步相关方法的调查。 ##一、知识蒸馏相关论文和进展survey：（开源或有第三方实现） 2014-NIPS-Do Deep Nets Really Need to be...
【转】Knowledge-Distillation 知识蒸馏论文集合
u014546828的博客
06-28 9976
Awesome Knowledge-Distillation 博客转自CTOLib码库：https://www.ctolib.com/FLHonker-Awesome-Knowledge-Distillation.html Awesome Knowledge-Distillation Different forms of knowledge Knowledge from logits Knowledge from intermediate layers Graph-based.
Knowledge Distillation(11)——teacher assistant
judgechen1997的博客
09-25 1259
motivation: 希望a teacher can effectively transfer its knowl- edge to students up to a certain size， 但有时gap太大，效果反而差， 正如mutual learning发现跟teacher学还不如和一个与自己目前水平相当（虽然网络结构差很多）的student学 所以助教的概念都出来了： teache...
一分钟带你认识深度学习中的知识蒸馏
华为云官方博客
09-23 8822
摘要：知识蒸馏（knowledge distillation）是模型压缩的一种常用的方法 一、知识蒸馏入门 1.1 概念介绍 知识蒸馏（knowledge distillation）是模型压缩的一种常用的方法，不同于模型压缩中的剪枝和量化，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度。最早是由Hinton在2015年首次提出并应用在分类任务上面，这个大模型我们称之为teacher（教师模型），小模型我们称之为Student（学生模型）
基于对应点分类的对象识别 报错
qq_25194681的博客
05-07 827
【代码】基于对应点分类的对象识别 报错。
第二十一天打卡
nbbsn的博客
05-11 180
这个结果略微差于聚类后的效果，但和一开始考虑所有特征的预测效果差不多，这个降维算法也比较成功。首先我们要对训练集和测试集进行处理，将非数字部分进行编码，并且将空缺值进行填充。- 输出每个模型的最佳参数和评估指标（准确率、精确率、召回率和F1分数）- 对每个模型分别使用网格搜索和贝叶斯优化进行超参数调优。这里可以看出预测结果大大提高了，这个调整工程是成功的。- 使用三个典型模型：随机森林、支持向量机和逻辑回归。- 在验证集上评估每个模型的性能。
Python数据分析案例74——基于内容的深度学习推荐系统（电影推荐）
weixin_46277779的博客
05-10 923
电影数据集构建推荐系统，结合内容推荐和深度学习两种方法。预处理、探索性分析，加权平均法和余弦相似度进行基于内容的推荐，计算电影的相似度并生成推荐结果。并且使用深度学习模型，构建评分预测和检索任务，用户个性化推荐和评分预测。
Qwen3 混合思维模版解读
qq128252的博客
05-07 1196
在人工智能迅速发展的今天，大型语言模型（Large Language Models，简称LLM）正逐渐成为各类应用的核心组件。其中，对话模板（Chat Template）作为连接用户与模型的关键桥梁，对确保高质量的交互体验至关重要。本文将深入解析Qwen3使用的对话模板，揭示其如何优雅地处理多轮对话、工具调用等复杂场景。
什么是深度神经网络
最新发布
kcarly的专栏
05-11 391
深度神经网络通过多层次的非线性变换和自动化特征学习，在多个领域实现了革命性突破。其核心技术包括反向传播、激活函数和正则化方法，而结构设计（如CNN、ResNet）和优化算法（如Adam）的进步进一步释放了模型潜力。尽管面临可解释性、计算成本等挑战，随着多模态融合、轻量化设计和新型硬件的发展，DNN将继续推动人工智能的边界，深刻影响科技与社会的发展。
focal and global knowledge distillation for detectors
03-16
Focal和全局知识蒸馏是用于检测器的技术。在这种技术中，一个更大的模型（称为教师模型）被训练来识别图像中的对象。然后，该模型的知识被传递给一个较小的模型（称为学生模型），以便学生模型可以在更少的计算资源下实现类似的准确性。Focal知识蒸馏侧重于教师模型中的重点区域，而全局知识蒸馏则侧重于整个图像。这些技术可以提高检测器的性能，并减少计算成本。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值