UNet-Transformer

为了充分发挥CNN-based和Transformer-based模型的优势，作者提出了一种简单而有效的UNet-Transformer（seUNet-Trans）模型用于医学图像分割。融合CNN和ViT成就简单而又高效

自动化医学图像分割在现代临床实践中变得越来越重要，这是由于对精确诊断的需求不断增长，个性化治疗计划的推动以及机器学习算法的进步，尤其是深度学习方法的应用。虽然卷积神经网络（CNN）在这些方法中很常见，但越来越多的人开始认识到Transformer-based模型在计算机视觉任务中具有巨大潜力。

为了充分发挥CNN-based和Transformer-based模型的优势，作者提出了一种简单而有效的UNet-Transformer（seUNet-Trans）模型用于医学图像分割。在作者的方法中，UNet模型被设计为特征提取器，从输入图像生成多个特征图，这些特征图传递到一个桥接层，该层被引入以顺序连接UNet和Transformer。在这个阶段，作者采用了像素级嵌入技术，而不是位置嵌入向量，以使模型更高效。

此外，作者在Transformer中应用了空间降维注意力来减少计算和内存开销。通过利用UNet架构和自注意力机制，作者的模型不仅保留了局部和全局上下文信息的保留，还能够捕捉输入元素之间的长程依赖关系。

作者在包括息肉分割在内的5个医学图像分割数据集上广泛进行了实验，以展示其有效性。与几种最先进的分割模型在这些数据集上的比较表明，seUNet-Trans Net表现出卓越的性能。

医学图像分割涉及从复杂的医学图像中识别和提取有意义的信息，这在许多临床应用中起着至关重要的作用，包括计算机辅助诊断、图像引导手术和治疗规划。迄今为止，由受过培训的专家（如放射科医师或病理学家）进行手动分割仍然是描绘解剖结构和病理异常的黄金标准。

然而，这一过程昂贵、劳动密集，通常需要丰富的经验。相比之下，基于深度学习的模型已经表现出卓越的性能，能够以高精度和速度自动分割感兴趣的目标，因为它们能够学习和理解医学图像中的复杂模式和特征。因此，基于深度学习的自动化医学图像分割在临床实践中需求旺盛且备受青睐。

作为各种图像分割模型的重要子集，卷积神经网络（CNN）已经在许多医学图像分割任务中表现出极高的效果和巨大的潜力，尤其是UNet，一种完全卷积网络，由对称的编码器和解码器结构组成，具有跳跃连接，以从编码器路径传递特征到解码器路径。然而，由于这些体系结构通常无法捕捉图像中的长程依赖和全局上下文信息，因此它们通常在纹理、形状和大小方面在患者之间存在显著差异的目标信息的分割性能较差。

为了解决这些缺点，当前的研究建议实施基于CNN属性的自注意力机制。值得注意的是，Transformer最初是为NLP框架中的序列到序列任务而构思的，它作为完全放弃卷积运算符，完全依赖注意力机制的替代架构而崭露头角，在计算机视觉（CV）社区内引发了重大争论。

与以前的基于CNN的方法不同，Transformer不仅擅长捕捉全局上下文信息，还在大规模预训练时展现出对下游任务的强大适应能力。例如，首个完全基于自注意力的视觉Transformer（ViTs）用于图像识别在ViT中首次亮相，并在使用2D图像块与位置嵌入作为输入序列，在广泛的外部数据集上进行了预训练后，在ImageNet上取得了竞争性的成绩。DETR采用了一种基于Transformer的全面端到端目标检测方法，深入探讨了目标之间的连接和整体图像背景的关系以进行目标检测。SETR用Transformer替代了标准编码器-解码器网络中的传统编码器，有效地实现了自然图像分割任务的最新成果。

虽然Transformer擅长捕捉全局上下文，但在细节方面，特别是在医学图像中，它难以把握精