MnasNet架构解析与复现-神经架构搜索

本文链接：https://blog.csdn.net/qq_43753724/article/details/126394291

本文深入探讨了MnasNet，一种针对移动设备的自动神经架构搜索方法。MnasNet通过多目标优化兼顾速度和精度，使用分层搜索空间实现模型多样性。与MobileNetV2相比，MnasNet在保持较低延迟的同时，提高了准确率。文章详细介绍了MnasNet的关键组件，包括深度可分离卷积、SE注意力机制，并提供了代码复现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

MnasNet架构解析与复现-神经架构搜索

1、摘要
2、MnasNet模型的创新点
- 2.1 运用了多目标优化函数(兼顾速度和精度)
- 2.2 分层的神经架构搜索空间
3、MnasNet与MobileNetV2性能比较
4、MobileNet相关知识点
- 4.1 深度可分离卷积
- 4.2 逆残差结构
5、SeNet通道注意力机制相关知识点
6、MnasNet-A1架构
7、MnasNet代码复现
References

参考论文：MnasNet: Platform-Aware Neural Architecture Search for Mobile

看这篇论文之前需要先去看MobileNetV1和MobileNetV2,因为里面用到了深度可分离卷积和逆残差结构。

1、摘要

为移动设备设计卷积神经网络 (CNN) 具有挑战性，因为移动模型需要小而快，但仍要准确。尽管在所有维度上都致力于设计和改进移动 CNN，但当需要考虑如此多的架构可能性时，很难手动平衡这些权衡。在本文中，我们提出了一种自动移动神经架构搜索 (MNAS) 方法，该方法明确地将模型延迟纳入主要目标，以便搜索可以识别出在准确性和延迟之间取得良好折衷的模型。与之前的工作不同，延迟是通过另一个通常不准确的代理（例如 FLOPS）来考虑的，我们的方法通过在手机上执行模型来直接测量现实世界的推理延迟。为了进一步在灵活性和搜索空间大小之间取得适当的平衡，我们提出了一种新颖的分解层次搜索空间，它鼓励整个网络的层多样性。实验结果表明，我们的方法在多个视觉任务中始终优于最先进的移动 CNN 模型。在 ImageNet 分类任务中，我们的 MnasNet 在 Pixel 手机上实现了 75.2% 的 top-1 准确率和 78 毫秒的延迟，比 MobileNetV2 [29] 快 1.8倍，准确率高 0.5%，比 NASNet [36] 快 2.3倍，准确度高