BT-Unet 采纳 Barlow twin 办法对 U -Net 模型的编码器进行无监督的预训练缩小冗余信息，以学习数据表示。之后，对残缺网络进行微调以执行理论的宰割。
BT-Unet 由 Indian Institute of Information Technology Allahabad 开发，公布在 2022 年的 JML 上
BT-Unet
BT-Unet 架构图：a、预训练 U -Net 编码器网络，b、用预训练的编码器权值初始化的微调 U -Net 模型
BT-Unet 框架分为两个阶段:1) 预训练阶段和 2) 微调阶段。
预训练
预训练的目标是应用无正文的数据样本，学习简单的特色示意。U-Net 模型的编码器应用 Barlow Twins (BT) 策略进行事后训练，而后进行微调以执行理论的宰割:
BT-Unet 框架可利用于各种先进的 U -Net 模型: 经典 U -Net、注意力 U -Net (A-Unet)、inception U-Net (I-Unet) 和 residual cross-spatial attention guided inception U-Net (RCA-IUnet)。
微调
U-Net 模型中编码器网络的权重应用预训练权重（来自第一阶段）进行初始化，而网络的其余部分应用默认权重进行初始化。
应用无限的正文样本对 U-Net 模型进行微调，用于生物医学图像宰割。
U-Net 模型应用分段损失函数进行微调，L 定义为二元穿插熵损失、LBC 和 dice coefficient 损失的平均值，LDC：
其中，y 为像素的真值标签，p(y) 为像素的预测标签，N 为像素的总数量。
后果体现
论文应用上面的数据集进行评测比照：
基于雷同样本数量的小训练集的性能剖析
- KDSB18：BTU-Net 模型的性能优于没有应用 BT 办法 的模型。
- BUSIS：U-Net 和 A-Unet 模型无奈学习和提取无关肿瘤区域的特色图（精度、DC 和 mIoU 为 0），然而通过预训练，这些模型获得了显着的改良。在 I-Unet 和 RCAIUnet 模型的状况下，通过预训练能够失去相当大的改良。
- ISIC18：I-Unet 和 RCAIUnet 模型是影响最大的网络，精度别离进步了 5.1% 和 2.2%。然而，在应用 BT 预训练时，经典的 U -Net 和 A-Unet 的性能略有降落。
- BraTS18：I-Unet 和 RCA-IUnet 模型在应用 BT-Unet 框架时在宰割性能上获得了显着晋升，而一般 U-Net 和 A-Unet 模型则没有察看到雷同的行为。
在不同规模小型训练集的性能钻研
对于所有训练数据比例小于 50% 的数据集，在模型之间察看到相似的性能变动。
定性后果
带有 BT 的 RCA-IUNet 具备很好的宰割成果。
论文地址：
[2022 JML] [BT-Unet] BT-Unet: A self-supervised learning framework for biomedical image segmentation using barlow twins with U-net models
https://avoid.overfit.cn/post/ebf25e2d795d4be19e41f188c8583f3e
作者：Sik-Ho Tsang