医学图像分割，Transformer+UNet的14种融合方法

最新推荐文章于 2025-04-08 21:42:14 发布

沃恩智慧

最新推荐文章于 2025-04-08 21:42:14 发布

阅读量3.1k

点赞数 15

文章标签： transformer 深度学习人工智能 UNet 医学图像分割

本文链接：https://blog.csdn.net/m0_73122726/article/details/140983136

版权

医学图像分割（Medical image segmentation）是图像分割在医学领域的重要应用，具有非常高的落地价值。

Transformer和UNet是两种常见的图像分割架构。然而，在图像分割时，Transformer由于low-level细节不足，存在定位能力不足的问题；而UNet则在显式建模长期依赖关系方面局限性大。

【Transformer+UNet】的融合方式，恰恰能充分发挥Transformer和UNet在医学图像分割方面的优势，弥补各自不足，产生显著的效果。因此，如果想发论文，这个方向依旧是个不错的选择。

沃的顶会整理了【Transformer结合UNet】应用于医学图像分割的14种创新方案，论文和代码都有。

1. MicFormer

标题：Multimodal Information Interaction for Medical Image Segmentation

方法：MicFormer 的架构基于 Swin-Unet 深度学习分段网络，并通过并行双流架构的结合进一步增强。MicFormer 包含一个 Transformer 架构以及一个具有 U 形特征提取功能的并行子网络，从而促进特征融合，并通过利用可扩展交叉注意机制实现模态之间的连续模块交换。在此框架内，Cross Transformer 模块采用可扩展采样来计算两种模态之间的结构关系，从而重塑一种模态的结构信息，以与 Swin Transformer 同一局部窗口内两种模态的相应结构保持一致。Cross Transformer 模块用于维护模态的原始