各位看官,今天咱们要聊的这个ResNet,绝对算得上深度学习界的"网红"鼻祖。这个2015年横空出世的模型,不仅把ImageNet比赛的错误率直接砍到3.57%(比人眼识别还准),更重要的是它彻底改变了人们对神经网络深度的认知。记得当年有个段子说:训练ResNet的时候,工程师最怕的不是模型不收敛,而是咖啡不够喝——因为网络动辄成百上千层,训练时间长得让人怀疑人生。不过玩笑归玩笑,这个让网络深度突破天际的"黑科技",咱们今天必须得掰开了揉碎了说清楚。
一、传统深度学习的"中年危机"
1.1 那些年我们追过的VGG和Inception
在ResNet登场之前,深度学习界的大佬们可都是VGG和Inception系列的忠实粉丝。VGG用着一水儿的3x3卷积,把网络怼到19层;Google家的Inception玩着"分叉-合并"的套路,把网络复杂度提升到新高度。但是老司机们渐渐发现事情不对劲——当网络深度超过20层后,模型的表现不升反降,你说气人不气人?
举个栗子&#