PAFPN

PANet（PAFPN）论文阅读

YOLOX骨干网backbone-PAFPN网络结构示例：实时目标检测的卓越选择 【下载地址】YOLOX骨干网backbone-PAFPN网络结构示例 此项目展示了YOLOX算法中backbone部分采用PAFPN网络结构的示例，为研究者和开发者提供了宝贵的学习资源。PAFPN网络通过改进特征融合，显著提升目标检测的精度...

if __name__ == '__main__': import torch.nn as nn import torch x=[torch.randn(1,256,256,256),torch.randn(1,512,128,128),torch.randn(1,1024,64,64),torch.randn(1,2048,32,32)] mode = YOLOXPAFPN(in_channels=[256, 512, 1024, 2048], ...

本文记录的是利用MAFPN颈部结构改进YOLOv8的目标检测网络模型。通过引入双向辅助融合机制优化特征处理流程，在自底向上路径利用 SAF 模块融合主干浅层特征与颈部输出，并保留浅层空间信息，为小目标检测提供更丰富细节；自顶向下路径通过 AAF 模块建立密集连接，聚合浅层高 / 低分辨率层、同级层及前层特征，均衡各层通道数后实现多向梯度信息交互，增强中 / 大目标特征表达。将其应用到中，解决传统特征金字塔在多尺度信息整合中的不足，提升多尺度目标检测的精度与特征表达的丰富性。Multi-Branch Auxi

之前没细想，以为FPN只是做了一个多尺度融合，没想到FPN在目标检测中解决了一些关键问题。 参考https://zhuanlan.zhihu.com/p/55824651 （1）多尺度信息融合 同时融合了低层的细节信息和高层的语义信息，增大了低层的感受野，使得低层在做小目标检测时能获得更多上下文信息。 (不过小目标真的需要那么多上下文信息嘛？或者融合的时候是不是该做个注意力机制？) 有实验表明对低层增加深度能提高小目标的performance，不过低层的conv越多计算量增加得太快 （2）不同尺度的

转自：https://blog.csdn.net/qq_35054151/article/details/111461066

mmdetection/mmdet/models/necks/fpn.py中FPN类的个人理解与解读

其中1*1的conv是为了保证他们的channel是一样的，从而可以进行不同特征层之间的融合，其中的上采样是为了，深层网络的特征图大小，能够通过upsampling增大特征图，以便深层特征图向底层特征图进行融合。因为深层的网络会更加关注语义信息，浅层网络关注细节信息，所以对于图像中的小目标的检测效果不会太好。（c）在每一层都进行图像的预测特征提取。但是这样得到的特征很多都是弱特征（浅层网络提取到的特征），也就导致特征不鲁棒。（d）在c的基础上，对每一层提取到的特征进行融合，再进行图像的预测。

mmdetection之neck讲解。configs、具体实现以及调用是如何的？

论文的作者是说在yolo上效果有提升，不过还没有测试，具体还不清楚，把代码撸出来先。yolov7的代码结构类似，可以参照tiny的yaml进行修改。先上配置文件yolov7-tiny-AFPN.yaml。在models/common.py增加。

信息在神经网络中的传播方式是非常重要的。本文提出的路径聚合网络（Path Aggregation Network, PANet）旨在促进proposal-based实例分割框架中的信息流动。具体来说，通过自底向上的路径增强，利用底层中精确的定位信息来增强整个特征层次，缩短了下层与最上层之间的信息路径。本文还提出了自适应特征池化（adaptive feature pooling），它将特征网格和所有层级的特征连接起来，使每个特征层级上有用的信息直接传播到后面的proposal subnetworks。此外还增

YOLOX模型改进 论文地址：https://arxiv.org/pdf/1709.01507.pdf 官方代码地址：https://github.com/hujie-frank/SENet Pytorch代码地址：https://github.com/moskomule/senet.pytorch SE模块显式地建模特征通道之间的相互依赖关系，通过采用了一种全新的“特征重标

多尺度特征传播旨在从不同的主干阶段聚合视觉特征，该阶段给定一个输入特征金字塔 C = {Cl1, Cl2, ...}，其中 Ci 表示阶段 i 的特征图，目标是在不同级别之间传播特征以产生增强的特征金字塔P = {Pl1 , Pl2 , ...},其中特征对下游任务信息量更大。核心思想是，如果像素的特征足够丰富，则不需要从其他空间位置聚合特征。在聚合不同层次的特征图后，特征金字塔仍然包含空间局部信息，因此引入了空间上下文金字塔（SCP），通过学习每个级别内的全局空间上下文来进一步增强特征。