医学图像剖析，多任务学习，图像分类，图像宰割，U-Net，后处理

该论文是18年公布的，提出了一种基于Deep U-Net的多任务学习框架，用于GE-MRI左心房宰割，该框架同时执行心房宰割和融化前后分类。尽管论文曾经很老了，然而改论文提出的多任务和后处理办法到当初还是能够参考的。

多任务U-Net

图像宰割

多任务深度U-Net是在二维U-Net根底上倒退而来的。数据集的图像在x-y立体上的最大尺寸为640 × 640，通过减少池化层来减少U-Net的接管域。它由5个下采样块和5个上采样块组成，应用BN和ReLU。通过聚合从下采样门路和上采样门路学到的不同尺度的粗和细特色，网络应比没有聚合操作的网络取得更好的宰割性能。

分类

分类工作是利用从下采样门路学习到的图像特色来执行。通过提取第4个池化层之后的特色，从不同大小和尺度的输出图像中学习到固定长度的特征向量，利用了SPPNet中的空间金字塔技术，而后通过2个全连贯的层解决向量，应用softmax计算每个图像的类概率(融化前/融化后)。在FC层上应用0.5的Dropout。

损失函数

多任务网络的损失函数L:

式中LS为宰割损失，LC为分类损失，=1。对于分割部分，采纳了像素级穿插熵损失。

分类局部采纳sigmoid穿插熵。：分类损失作为正则化的作用，使网络可能学习在两个工作中都能很好概括的高级示意。

后处理

在推理过程中，将从三维图像中提取的轴向切片逐片输出网络，通过逐片拼接这些宰割后果，每个患者的粗略3D掩膜就产生了。为了细化这些掩模的边界进行了三维状态扩张和侵蚀，每个体积保留了最大的连贯重量。

数据

数据集

论文应用2018年心房宰割挑战数据集，蕴含100个3D的ge - mri图像的训练集，以及相应的LA手动宰割掩膜和融化前/后标签，用于训练和验证。还有另外一组54张没有标签的图片供测试。对于模型训练和评估，将80:20训练集随机宰割。数据集中有两种大小的图像:576×576和640×640。如上图所示，在图像大小和图像对比度上有很大的差别。

预处理和数据增广

图像的强度归一化为零均值和单位方差。随机程度/垂直翻转，概率为 50%。范畴从 -10 到 +10 度进行随机旋转。在原始图像大小的 10% 范畴内沿 X 和 Y 轴随机挪动。缩放系数介于 0.7 和 1.3 之间。随机伽马校对作为对比度加强的一种形式：

其中F(x, y)是图像中每个像素的原始值，G(x, y)是每个像素的变换值。对于每个图像，从(0.8,2.0)的范畴内随机化。在对比度加强的状况下，该网络不须要图像对比度加强作为预处理。

与AGC和CLAHE等其余预处理图像对比度加强相比，gamma加强代具备更高的Dice得分。

采纳多尺度裁剪来减少数据的多样性，使网络可能剖析不同背景下的图像。裁剪尺寸包含256×256, 384×384, 480×480, 512×512, 576×576, 640×640。首先用裁剪图像训练网络，而后逐步减少图像的大小。网络学会了从简略的场景到艰难的场景进行宰割。

后果

定量后果

对于不同的网络和办法，基于不同测量值的宰割精度后果如下

随着网络深度的减少，宰割性能失去了显著进步，尤其是在二尖瓣立体上。通过多任务Deep U-Net和进行前期解决，失去的Dice分数为0.901。

这个多任务U-Net算法比其余两种算法具备更强的鲁棒性，通过与宰割和相干的融化前后分类共享特色，网络被迫学习更好的示意，以取得更好的宰割后果。

这是验证集中的三个样本的三维可视化。蓝色对象是真值，绿色对象是预测宰割

该模型在不同主题的三维宰割后果与真值之间具备较高的重叠率。然而，在肺静脉四周能够察看到一种显著的生效模式。一个可能的起因可能是肺静脉的数量和长度因人而异，这使得网络很难从无限的病例中学习。

训练工夫

在一台Nvidia Titan Xp GPU上，总的处理过程均匀大概须要10秒。

Atrial Segmentation Challenge 2018

论文作者应用了一种称为Boostrap aggreging (Bagging)的集成办法。在同一模型训练5次，每次随机子集，而后均匀类概率。在主办方给出的54个测试用例中，DICE均匀得分从0.9197进步到0.9206。

论文地址：

[2018 STACOM] [Multi-Task Deep U-Net] ：https://arxiv.org/abs/1810.13205

https://avoid.overfit.cn/post/4cba50b965f7491ebb423495a9ee0dbb

作者：Sik-Ho Tsang