MobileNetV1和V2详解

                                  Mobile Net V1

                                            摘要

       本文提出MobileNets的高效模型，用于移动端设备的视觉应用。该网络基于深度可分离卷积来构建轻量级深度神经网络，另外，该网络引入了两个简单的全局超参数（分辨率因子和宽度因子），可以在延迟和精度之间进行权衡。这些超参数允许模型根据问题的约束为其应用选择合适大小的模型。

1. 论文思想

        基于深度级可分离卷积块的堆叠设计MobileNets网络结构。通过权衡延迟时间和精度要求，基于宽度因子和分辨率因子构建合适规模、合适速度的MobileNet结构。

2. 深度级可分离卷积结构(Xception、Extream Inception)

        思想：将通道间的相关性和空间相关性完全分离出来，同时大大减少计算量和参数量。

与传统的卷积网络结构不同，其步骤如下：

1. 对特征图的各个通道进行卷积操作(3*3*1)

2. 通道合并卷积操作后的各页特征图

3. 1*1卷积降低通道数

作用：

相比传统的卷积网络结构，可减少计算量和参数量。

2.1 计算量

两种损失之间的比例关系：

当N较大时，Dk=3，可大约减少9倍的计算量

2.2 参数量

标准卷积参数量 = Dk*Dk*M*N

深度级分离卷积参数量 = Dk*Dk*M+M*N

计算两种损失的比例关系，同样可计算出来，当N较大时，Dk=3，可大约减少9倍的参数量。

3. MobileNet神经网络结构(28层)

        MobileNet模型在TensorFlow中使用RMSprop优化算法进行训练，采用数据增强技术，在depthwise滤波器上增加L2正则化。

3.1 宽度因子

为了构造这些结构更小且计算量更小的模型，我们引入了一个参数α，称为宽度因子。宽度因子α的作用是在每层均匀地稀疏网络，为每层通道乘以一定的比例，从而减少各层的通道数。常用值有1、0.75、0.5、0.25。

3.2 分辨率因子

为了减少计算量，引入了第二个参数ρ，称为分辨率因子。其作用是在每层特征图的大小乘以一定的比例。

                                      MobileNet V2

                                           摘要

1. 思想

      基于Mobile Net V1中的Depth-wise Separable Convolution和Resnet中的Shortcut，提出一种新的结构，称作Inverted Residuals and Linear Bottlenecks。

2. MobileNet V1、ResNet和MobileNet V2 中的bottleneck结构对比

MobileNet V2的网络结构

3. MobileNet V2中的bottleneck为什么先扩张通道数在压缩通道数呢？

        因为MobileNet 网络结构的核心就是Depth-wise，此卷积方式可以减少计算量和参数量。而为了引入shortcut结构，若参照Resnet中先压缩特征图的方式，将使输入给Depth-wise的特征图大小太小，接下来可提取的特征信息少，所以在MobileNet V2中采用先扩张后压缩的策略。

4. MobileNet V2中的bottleneck为什么在1*1卷积之后使用Linear激活函数？

       因为在激活函数之前，已经使用1*1卷积对特征图进行了压缩，而ReLu激活函数对于负的输入值，输出为0，会进一步造成信息的损失，所以使用Linear激活函数。