近日,腾讯优图首个医疗AI深度学习预训练模型MedicalNet正式对外开源。这也是全球第一个提供多种3D医疗影像专用预训练模型的项目,将为全球医疗AI发展提供基础。
开源网址:
许多研究表明,深度学习的发展非常依赖数据量。自然图像领域中存在着许多海量数据集,如ImageNet,MSCOCO。基于这些数据集产生的预训练模型推动了分类、检测、分割等应用的进步。不同于自然图像,医疗影像大部分都是3D结构形态的,同时,由于数据获取和标注难度大,数据量稀少,目前尚未存在海量数据集及对应的预训练模型。
MedicalNet 是腾讯优图首个专为3D医疗影像在深度学习应用上所开发的一系列预训练模型,为任何3D医疗影像AI应用起到“打地基”的作用,加快模型收敛,减轻模型对数据量的依赖,MedicalNet具备以下特性:
1、MedicalNet提供的预训练网络可迁移到任何3D医疗影像的AI应用中,包括但不限于分割、检测、分类等任务;
2、尤其适用小数据医疗影像AI场景,能加快网络收敛,提升网络性能;
3、通过简单配置少量接口参数值,即可进行微调训练;
4、项目提供多卡训练以及测试评估代码,接口丰富,扩展性强;
5、提供不同深度3D ResNet预训练模型,可供不同数据量级应用使用。
为了产生3D医疗影像的预训练模型,MedicalNet聚集多个来自不同3D医疗领域的语义分割小规模数据集,并提出了基于多分支解码器的多域联合训练模型来解决数据集中的标注缺失问题。
我们的预训练模型可以迁移到任何3D医疗影像