major的博客

数字识别神经网络的实现-CSDN博客。神经⽹络可以计算任何函数的可视化证明。深度学习之分类手写数字的网络。柔性最大值解决学习缓慢问题。神经网络中的过度拟合问题。深度神经⽹络为何很难训练。深度学习之卷积神经网络。深度学习的人工神经元。梯度下降算法学习图像。深度学习中的一些名词。神经网络中的反向传播。

反向传播是利用递归计算表达式的梯度的方法。理解反向传播过程及其精妙之处，对于理解、实现、设计和调试非常。在神经网络中f对应的是（L），输入x里面包含训练数据和神经网络的权重。举个例子，损失函数可以是SVM的损失函数，输入则包含了训练数据权重W和偏差b。

这就使得前期的层学习 ⾮常缓慢。例如，隐藏神经元 的⾏为不是完全由前⼀层的隐藏神经元，⽽是同样受制于更早的层上的神经元的激活值。也可能隐藏和输出层的神经元的激活值不会单单由当 前的⽹络输⼊决定，⽽且包含了前⾯的输⼊的影响。⽽像DBN这样的⽣成式模型可以类似这样使⽤，但 是更加有⽤的可能就是指定某些特征神经元的值，然后进⾏“反向运⾏”，产⽣输⼊激活的值。在前馈神经⽹络中，单独的输⼊完全确定了剩下的层上的神经元的 激活值。可以想象，这是⼀幅静态的图景：⽹络中的所有事物都被固定了，处于⼀种“冰冻结 晶”的状态。

在上⼀章，我们学习了深度神经⽹络通常⽐浅层神经⽹络更加难以训练。我们有理由相信， 若是可以训练深度⽹络，则能够获得⽐浅层⽹络更加强⼤的能⼒，但是现实很残酷。从上⼀章 我们可以看到很多不利的消息，但是这些困难不能阻⽌我们使⽤深度神经⽹络。在前⾯的章节中，我们教会了神经⽹络能够较好地识别⼿写数字，我们使⽤了全连接的邻接关系的⽹络来完成这个⼯作。即，⽹络中的神经元与相邻的层上的 每个神经元均连接。

根本的问题其实并⾮是消失的梯度问题或者激增的梯度问题，⽽是在前⾯的层上的梯度是来⾃后⾯的层上项的乘积。所以，如果我们使⽤标准的基于梯度的学习 算法，在⽹络中的不同层会出现按照不同学习速度学习的情况。结果表明了激活函数的选择，权重的 初始化，甚⾄是学习算法的实现⽅式也扮演了重要的⻆⾊。这些简单的⽹络已经⾮常有⽤了：在前⾯的章节中，我们使⽤这样的⽹络可以进⾏准确率⾼ 达98%的⼿写数字的识别！那我们如何训练这样的深度神经⽹络呢？更加⼀般地说，在深度神经⽹络中的梯 度是不稳定的，在前⾯的层中或会消失，或会激增。

原因在于不同的⽹络可能会以不同的⽅式过度拟 合，平均法可能会帮助我们消除那样的过度拟合。不同的⽹络 会以不同的⽅式过度拟合了，所以，弃权过的⽹络的效果会减轻过度拟合。然⽽，⼤的⽹络拥有⼀种⽐⼩⽹络更强的潜⼒， 所以这⾥存在⼀种应⽤冗余性的选项。这表明如果我们使⽤⼤量更多的训练数据 ——不妨设百万或者⼗亿级的⼿写样本，⽽不是仅仅50,000个——那么，我们可能会得到更好 的性能，即使是⽤这样的简单⽹络。幸运的是，还有其他的技术能够缓解过度拟合，即使我们只有⼀个固定的⽹络和固定的训练 集合。

激活速率编码。

我们可以看到测试集上的代价在15迭代期前⼀直在提升，随后越来越差，尽管训练数据集 上的代价表现是越来越好的。从⼀个实践⻆度， 我们真的关⼼的是提升测试数据集上的分类准确率，⽽测试集合上的代价不过是分类准确率的 ⼀个反应。即使这样的模型能够 很好的拟合已有的数据，但并不表⽰是⼀个好模型。诺⻉尔奖获得者，物理学家恩⾥科·费⽶有⼀次被问到他对⼀些同僚提出的⼀个数学模型的 意⻅，这个数学模型尝试解决⼀个重要的未解决的物理难题。就像费⽶不⼤喜欢的那个模型⼀样，我们的⽹ 络在280迭代期后就不在能够推⼴到测试数据上。

本章，我们⼤多数情况会使⽤交叉熵来解决学习缓慢的问题。但是，我希望简要介绍⼀下另 ⼀种解决这个问题的⽅法，基于柔性最⼤值（softmax）神经元层。柔性最⼤值的想法其实就是为神经⽹络定义⼀种新式的输出层。第j各神经元的激活值如下，其中，分⺟中的求和是在所有的输出神经元上进⾏的。

在上⼀章，我们看到了神经⽹络如何使⽤梯度下降算法来学习他们⾃⾝的权重和偏置。但是， 这⾥还留下了⼀个问题：我们并没有讨论如何计算代价函数的梯度。这是很⼤的缺失！在本章， 我们会解释计算这些梯度的快速算法，也就是反向传播（backpropagation）；反向传播的核⼼是⼀个对代价函数C关于任何权重w（或者偏置b）的偏导数的表达式。这个表达式告诉我们在改变权重和偏置时，代价函数变化的快慢。由于此处数学推导非常多，因此这里尽可能的描述一些简单的推导过程和结论性的东西，有个概念即可；

在机器学习中，输入的feature, 通过预测模型，输出预测值，此过程称之为向前传播；为了将预测与真实值的产值减小，需要根据差值，更新模型中的参数，此过程称之为向后传播；它使用的是max(0,−)2，将更强烈（平方地而不是线性地）地惩罚过界的边界值；折叶损失（hinge loss）控制模型的行为和性能。

这只是⼀个粗略的近似，但我 们可以很容易地做得更好，仅仅通过增加隐藏神经元对的数量，分配更多的凹凸形状。这是所有要做的事情：现在我们有了⼀个可以很好计算我们原始⽬标函数的神经⽹络的完整 的描述。为了感受⼀下⽹络的组成部分⼯作的机制，我们专注于最顶上的那个隐藏神经元。总结⼀下，更加准确的关于普遍性定理的表述是包含⼀个隐藏层的神经⽹络可以被⽤来按照 任意给定的精度来近似任何连续函数。神经⽹络的⼀个最显著的事实就是它可以计算任何的函数，也就是说，针对任何一种复杂而奇特的函数f(x),它就像是唯⼀的输⼊。

当⼀个⾼尔夫球员刚开始学习打⾼尔夫时，他们通常会在挥杆的练习上花费⼤多数时间。慢 慢地他们才会在基本的挥杆上通过变化发展其他的击球⽅式，学习低⻜球、左曲球和右曲球。类似的，我们现在仍然聚焦在反向传播算法的理解上。这就是我们的“基本挥杆”，神经⽹络中⼤部分⼯作学习和研究的基础。因此，我们可以使用若⼲技术能够⽤来提升我们关于反向传播的初级的实现，最终改进⽹络学习的⽅式；

虽然我们的神经⽹络给出了令⼈印象深刻的表现，但这样的表现带有⼏分神秘 因为有着⾃动学习得到的权重和偏置，这些是我 们⽆法理解的，这样的神经⽹络对我们来说是不透明的；

对于⽹络给定⼀个输⼊，返回对应的输 出。

⽽且 神经⽹络中我们经常需要⼤量的变量——最⼤的神经⽹络有依赖数亿权重和偏置的代价函数，极 其复杂。通过计算少量样本的平均值我们可以快速得到⼀个对于实际梯 度∇C的很好的估算，这有助于加速梯度下降，进⽽加速学习过程。当然，对于上图的函数，我们⼀眼就能找到最⼩值。通常函数可能是⼀个复杂的多元函数，看⼀下就 能找到最⼩值可是不可能的。为了更精确地描述这个问题，让我们思考⼀下，当我们在和⽅向分别将球体移动⼀个 很⼩的量，，注意我们⽤代替了和以强调它可能是任意的函数——我们现在先不局限于神经⽹络的环境。

假设神经⽹络以上述⽅式运⾏，我们可以给出⼀个貌似合理的理由去解释为什么⽤10个输出⽽不是4个。把数字的最⾼有效位和数字的形状联系起来并不是⼀个简单的问题。很难想象出有 什么恰当的历史原因，⼀个数字的形状要素会和⼀个数字的最⾼有效位有什么紧密联系。最终的判断是基于经验主义的：我们可以实验两种不同的⽹络设计，结果证明对于这个特定的问题⽽⾔，10个输出神经元的神经⽹络⽐4个的识别效果更好.⼀个看起来更⾃然的⽅式就是使⽤5个输出神经元， 把每⼀个当做⼀个⼆进制值，结果取决于它的输出更靠近0还是1。

输出层：输出层只需要包含⼀个神经元，当输出值⼩于0.5时表⽰“输⼊图像不是⼀个9”，⼤于的值表⽰“输⼊图像是⼀个9";隐藏层：相⽐于神经⽹络中输⼊输出层的直观设计，隐藏层的设计则堪称⼀⻔艺术;输入层：设计⽹络的输⼊输出层通常是⽐较直接的；

感知器运算的通⽤性既是令⼈⿎舞的，⼜是令⼈失望的。令⼈⿎舞是因为它告诉我们感知器 ⽹络能和其它计算设备⼀样强⼤。但是它也令⼈失望，因为它看上去只不过是⼀种新的与⾮⻔。这简直不算个⼤新闻！然⽽，实际情况⽐这⼀观点认为的更好。其结果是我们可以设计学习算法，能够⾃动调整⼈⼯神经元的权重和偏置。这种调整可以响应外部的刺激，⽽不需要⼀个程序员的直接⼲预。这些学习算法是我们能够以⼀种根本区别于传统逻辑⻔的⽅式使⽤⼈⼯神经元。

系统讲解CNN在内的深度学习理论，数学推导严谨，适合打基础。Keras框架作者撰写，第5章专门讲解CNN，适合快速实践。免费在线书籍，图文并茂解释CNN基本原理，适合入门。中文版：《Python深度学习》深度学习领域的“圣经”中文版：《深度学习》