乐趣区

关于深度学习:BT-Unet生物医学图像分割的自监督学习框架

BT-Unet 采纳 Barlow twin 办法对 U -Net 模型的编码器进行无监督的预训练缩小冗余信息,以学习数据表示。之后,对残缺网络进行微调以执行理论的宰割。

BT-Unet 由 Indian Institute of Information Technology Allahabad 开发,公布在 2022 年的 JML 上

BT-Unet

BT-Unet 架构图:a、预训练 U -Net 编码器网络,b、用预训练的编码器权值初始化的微调 U -Net 模型

BT-Unet 框架分为两个阶段:1) 预训练阶段和 2) 微调阶段。

预训练

预训练的目标是应用无正文的数据样本,学习简单的特色示意。U-Net 模型的编码器应用 Barlow Twins (BT) 策略进行事后训练,而后进行微调以执行理论的宰割:

BT-Unet 框架可利用于各种先进的 U -Net 模型: 经典 U -Net、注意力 U -Net (A-Unet)、inception U-Net (I-Unet) 和 residual cross-spatial attention guided inception U-Net (RCA-IUnet)。

微调

U-Net 模型中编码器网络的权重应用预训练权重(来自第一阶段)进行初始化,而网络的其余部分应用默认权重进行初始化。

应用无限的正文样本对 U-Net 模型进行微调,用于生物医学图像宰割。

U-Net 模型应用分段损失函数进行微调,L 定义为二元穿插熵损失、LBC 和 dice coefficient 损失的平均值,LDC:

其中,y 为像素的真值标签,p(y) 为像素的预测标签,N 为像素的总数量。

后果体现

论文应用上面的数据集进行评测比照:

基于雷同样本数量的小训练集的性能剖析

  • KDSB18:BTU-Net 模型的性能优于没有应用 BT 办法 的模型。
  • BUSIS:U-Net 和 A-Unet 模型无奈学习和提取无关肿瘤区域的特色图(精度、DC 和 mIoU 为 0),然而通过预训练,这些模型获得了显着的改良。在 I-Unet 和 RCAIUnet 模型的状况下,通过预训练能够失去相当大的改良。
  • ISIC18:I-Unet 和 RCAIUnet 模型是影响最大的网络,精度别离进步了 5.1% 和 2.2%。然而,在应用 BT 预训练时,经典的 U -Net 和 A-Unet 的性能略有降落。
  • BraTS18:I-Unet 和 RCA-IUnet 模型在应用 BT-Unet 框架时在宰割性能上获得了显着晋升,而一般 U-Net 和 A-Unet 模型则没有察看到雷同的行为。

在不同规模小型训练集的性能钻研

对于所有训练数据比例小于 50% 的数据集,在模型之间察看到相似的性能变动。

定性后果

带有 BT 的 RCA-IUNet 具备很好的宰割成果。

论文地址:

[2022 JML] [BT-Unet] BT-Unet: A self-supervised learning framework for biomedical image segmentation using barlow twins with U-net models

https://avoid.overfit.cn/post/ebf25e2d795d4be19e41f188c8583f3e

作者:Sik-Ho Tsang

退出移动版