神经网络之父Hinton介绍及其论文介绍

1简介

杰弗里·埃弗里斯特·辛顿（Geoffrey Everest Hinton），计算机学家、心理学家，被称为“神经网络之父”、“深度学习鼻祖”。他研究了使用神经网络进行机器学习、记忆、感知和符号处理的方法，并在这些领域发表了超过200篇论文。他是将（Backpropagation）反向传播算法引入多层神经网络训练的学者之一，他还联合发明了波尔兹曼机（Boltzmann machine）。他对于神经网络的其它贡献包括：分布特征（distributed representation）、时延神经网络、专家混合系统（mixtures of experts）、亥姆霍兹机（Helmholtz machines）等。

2 论文

2.1 玻尔兹曼机

1985年Hinton等人写的《A learning algorithm for Boltzmann machines》，即玻尔兹曼机的学习算法。玻尔兹曼机是第一个能够学习不属于输入或输出的神经元内部表征的神经网络。

热量均衡下，系统在任一全局状态的概率服从玻尔兹曼分布。玻尔兹曼分布有非常好的数据特性，它与信息理论密切相关。特别地，两个全局状态的log 概率的微分在温度1下刚好等于它们能量的微分。这样容易求偏导数，容易采用梯度下降算法。

文中提出模型4-2-4 Encoder，第一个4表示4个可见单元，可以代表输入，2是隐藏单元，最后一个4代表可见单元，可以代表输出。

参考下面文章：

1.1985年 玻尔兹曼机的学习算法–Hinton论文系列《A learning algorithm for Boltzmann machines》
https://blog.csdn.net/zephyr_wang/article/details/120391250
2.2010年Hinton写的《A practical guide to training Restricted Boltzmann Machines》。RBMs（Restricted Boltzmann Machines）的最重要的使用是作为形成深度信念网络的构成模块。RBMs通常采用对比散度（contrastive divergence）的学习过程进行训练
https://blog.csdn.net/zephyr_wang/article/details/120498709

2.2 反向传播

反向传播由下面这些人分别独立发现：(Bryson and Ho, 1975; Werbos, 1974; Parker, 1985; LeCun, 1985; Rumelhart et al., 1986)。反向传播是第一个有效的学习神经网络的方法，神经网络可以拥有一个或多个自适应隐藏单元层。

1986年Hinton等人写的《Learning representations by back-propagating errors》。输入与输出之间隐藏单元的引入，使得计算复杂，采用反向传播。

深度学习的开篇：2006年. G.E. Hinton 和R. R. Salakhutdinov的《Reducing the dimensionality of data with neural networks》
只从1980年代开始，通过深度autoencoder的反向传播（backpropagation）是处理非线性维度下降的一个非常有效分方法，但需要满足3个条件（1）计算机速度足够快；（2）数据集足够大；（3）初始权重有一个好的办法。而现在刚好就满足这三个条件了。
该文提出的模型：（1）第一步预训练，迭代训练很多RBMs，即训练完一个RBM后，将其学到的特征用于训练下一个RBM；（2）接着是Unroll（展开），构成一个深度autoencoder；（3）最后使用反向传播fine-tuning。

参考下面文章：

1. 1986年，反向传播-Hinton论文系列《Learning representations by back-propagating errors》https://blog.csdn.net/zephyr_wang/article/details/120190585
2. Hinton论文系列-Reducing the dimensionality of data with neural networks，2006年。https://blog.csdn.net/zephyr_wang/article/details/119878836

2.3 wake-sleep算法

wake-sleep算法，该算法有两个通路，一个是从下到上的识别连接，一个是从上到下的生成连接.

参考下面文章：
wake-sleep算法-Hinton论文系列《To Recognize Shapes, First Learn to Generate Images》2006年
https://blog.csdn.net/zephyr_wang/article/details/120157174

2.4 deep belief nets

2006年Hinton等人写的《A fast learning algorithm for deep belief nets》显示了是有可能学习一个深度、紧密相连的信念网络，一次学习一层。进行如此学习方式的一种是假定当学习低层时，较高的层不存在；但这与简单的因子化相似（替换难处理的后验分布）不相容。为了使这些相似起作用，我们需要真的后验尽可能逼近因子化。所以不是忽略较高层，而是假定他们存在，只是有捆绑的权重，他们满足互补先验分布（Complementary Prior），以使真后验分布可以因子化。这就相当于拥有了一个无向模型，可以使用对比散度（contrastive divergence）有效的学习。

参考下面文章：
Hinton 论文系列《A fast learning algorithm for deep belief nets》2006年
https://blog.csdn.net/zephyr_wang/article/details/120007607

2.5 其他模型

1. AlexNet .是2012年ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky设计的。也是在那年之后，更多的更深的神经网络被提出，比如优秀的vgg,GoogLeNet。AlexNet中包含了几个比较新的技术点，也首次在CNN中成功应用了ReLU、Dropout和LRN等Trick。

2. 胶囊网络CapsNet，2017年
   https://blog.csdn.net/zephyr_wang/article/details/118863203
   现在卷积网络在物体识别领域占据了主导地位，其是否也存在指数性无效率。卷积网络不能很好的处理仿射变换，比如我们可能需要指数级的增加训练样本。
   而本文说的胶囊网络（capsule）可以避免指数性无效率，其将像素强度转换成识别片段的实例参数的向量，然后应用转换矩阵来预测更大片段的实例化参数。转换矩阵是学习部分和整体间的内在关系。