【变化检测论文学习】Lightweight Remote Sensing Change Detection With Progressive Feature Aggregation and Super

本文介绍了一种新的轻量化网络A2Net,通过邻居聚合模块增强时间特征表示,渐进式变化识别模块提取时间差异,监督注意力模块优化特征融合。使用MobileNetV2作为主干,有效处理移动设备上的变化检测任务。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

摘要

以往大多数的变化检测模型计算成本高昂难以应用,基于此,本文提出了一种轻量化的网络A2Net。考虑到移动网络的表征能力较弱,设计了一个邻居聚合模块( NAM )来融合骨干网附近阶段的特征,以加强时间特征的表征能力。然后,提出了一个渐进式变化识别模块( PCIM ),用于从双时相特征中提取时间差异信息。此外,设计了一个监督注意力模块( SAM )来对重加权特征进行有效的聚合,从高层到低层的多层次特征。

模型架构

总述:该网络主干网络采用了轻量化的MobileNetV2来提取双时相特征,从stage1到stage5得到五个层级的特征图,对孪生网络的后四个层级的特征图经过NAM(合并主干相邻阶段的时间特征,以增强它们的特征表示能力)模块做差,得到后四个层级的差分特征图。四个层级的差分特征图分别经过PCIM模块(从双时相特征对应的特征层面捕获时间变化信息),与经过SAM模块(改善细节特征)的前一层级特征进行相加最后输出变化图,label分别与前三个层级的SAM模块结果和输出的变化图算Loss。
在这里插入图片描述
NAM模块:三个层级的特征图进行特征融合,中间层及的特征图与特征融合的块经过卷积相加得到结果特征图。
在这里插入图片描述
PCIM模块:使用一系列空洞卷积和残差链接进行多尺度特征学习。类似于自注意力机制?
在这里插入图片描述
SAM模块:特征金字塔网络[ 26 ]为多层次特征融合提供了一种由粗到精的经典架构。然而,更高层的特征缺乏上下文引导,容易产生大量噪声,难以进行多层次的信息聚合。在这里,本文引入SAM来重新校准特征,以实现更好的多层次特征融合。首先将特征图经过11卷积在经过sigmoid将变化图区间转换为【0,1】再进行图像取反,这时得到了变化图c3c_{3}c3和反向变化图cr3cr_{3}cr3,使用一个1 × 1的卷积层从c3c_{3}c3cr3cr_{3}cr3中生成与d3ˉ\bar{d_{3} }d3ˉ 形状相同的像素注意力掩膜a3a_{3}a3(Cat之后经过11卷积),之后将a3a_{3}a3与输入特征进行逐元素相乘后在经过3*3卷积得到模块输出特征。
在这里插入图片描述

### 轻量级融合策略增强层间特征相关性的小物体检测 对于小物体检测而言,轻量级融合策略通过强化不同层次间的特征关联来提升模型性能[^1]。传统方法可能无法有效捕捉到多尺度下的细节信息,而这种新提出的方案则专注于改善跨层的信息交流。 #### 特征提取网络设计 为了更好地处理小目标识别问题,在基础卷积神经网络之上引入了额外机制以促进深层与浅层特征之间的互动。具体来说: - 浅层特征富含空间位置和边缘纹理等低级别语义; - 深层特征携带更高级别的类别抽象表示; 两者结合可以弥补单一层面表征能力不足的情况,从而提高对细小目标物的辨识度。 #### 增强层间交互的方法 采用自底向上的路径聚合方式,使得每一阶段都能获取到来自分层结构下方更为精细的空间分辨率数据支持。与此同时,还加入了横向连接模块,允许非相邻层级之间直接传递有用信号,进一步加强全局感受野内的上下文理解力。 ```python def enhance_interlayer_correlation(features): """ Enhance the correlation between different layers' features. Args: features (list of Tensor): List containing tensors from various network stages Returns: list of Tensor: Processed feature maps with improved inter-layer relationships """ enhanced_features = [] for i, feat in enumerate(features[:-1]): next_feat = features[i + 1] # Upsample higher-level features to match spatial dimensions upsampled_next_feat = F.interpolate(next_feat, size=feat.shape[-2:], mode='bilinear', align_corners=False) # Combine current and upscaled high-level information using element-wise operations or concatenation combined_feature = torch.cat([feat, upsampled_next_feat], dim=1) # Optionally apply a convolution layer here to fuse these two sources effectively enhanced_features.append(combined_feature) return enhanced_features ``` 此代码片段展示了如何实现上述提到的功能之一——即利用上采样技术将高层次特征图调整至较低层次相同大小,并将其与原始输入相加或拼接起来形成新的复合表达形式。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值