医学图像剖析，多任务学习，图像分类，图像宰割，U-Net，后处理
该论文是 18 年公布的，提出了一种基于 Deep U-Net 的多任务学习框架，用于 GE-MRI 左心房宰割，该框架同时执行心房宰割和融化前后分类。尽管论文曾经很老了，然而改论文提出的多任务和后处理办法到当初还是能够参考的。
多任务 U -Net
图像宰割
多任务深度 U -Net 是在二维 U -Net 根底上倒退而来的。数据集的图像在 x - y 立体上的最大尺寸为 640 × 640，通过减少池化层来减少 U -Net 的接管域。它由 5 个下采样块和 5 个上采样块组成，应用 BN 和 ReLU。通过聚合从下采样门路和上采样门路学到的不同尺度的粗和细特色，网络应比没有聚合操作的网络取得更好的宰割性能。
分类
分类工作是利用从下采样门路学习到的图像特色来执行。通过提取第 4 个池化层之后的特色，从不同大小和尺度的输出图像中学习到固定长度的特征向量，利用了 SPPNet 中的空间金字塔技术，而后通过 2 个全连贯的层解决向量，应用 softmax 计算每个图像的类概率(融化前 / 融化后)。在 FC 层上应用 0.5 的 Dropout。
损失函数
多任务网络的损失函数 L:
式中 LS 为宰割损失，LC 为分类损失，λ=1。对于分割部分，采纳了像素级穿插熵损失。
分类局部采纳 sigmoid 穿插熵。：分类损失作为正则化的作用，使网络可能学习在两个工作中都能很好概括的高级示意。
后处理
在推理过程中，将从三维图像中提取的轴向切片逐片输出网络，通过逐片拼接这些宰割后果，每个患者的粗略 3D 掩膜就产生了。为了细化这些掩模的边界进行了三维状态扩张和侵蚀，每个体积保留了最大的连贯重量。
数据
数据集
论文应用 2018 年心房宰割挑战数据集，蕴含 100 个 3D 的 ge – mri 图像的训练集，以及相应的 LA 手动宰割掩膜和融化前 / 后标签，用于训练和验证。还有另外一组 54 张没有标签的图片供测试。对于模型训练和评估，将 80:20 训练集随机宰割。数据集中有两种大小的图像:576×576 和 640×640。如上图所示，在图像大小和图像对比度上有很大的差别。
预处理和数据增广
图像的强度归一化为零均值和单位方差。随机程度 / 垂直翻转，概率为 50%。范畴从 -10 到 +10 度进行随机旋转。在原始图像大小的 10% 范畴内沿 X 和 Y 轴随机挪动。缩放系数介于 0.7 和 1.3 之间。随机伽马校对作为对比度加强的一种形式：
其中 F(x, y)是图像中每个像素的原始值，G(x, y)是每个像素的变换值。对于每个图像，γ 从 (0.8,2.0) 的范畴内随机化。在对比度加强的状况下，该网络不须要图像对比度加强作为预处理。
与 AGC 和 CLAHE 等其余预处理图像对比度加强相比，gamma 加强代具备更高的 Dice 得分。
采纳多尺度裁剪来减少数据的多样性，使网络可能剖析不同背景下的图像。裁剪尺寸包含 256×256, 384×384, 480×480, 512×512, 576×576, 640×640。首先用裁剪图像训练网络，而后逐步减少图像的大小。网络学会了从简略的场景到艰难的场景进行宰割。
后果
定量后果
对于不同的网络和办法，基于不同测量值的宰割精度后果如下
随着网络深度的减少，宰割性能失去了显著进步，尤其是在二尖瓣立体上。通过多任务 Deep U-Net 和进行前期解决，失去的 Dice 分数为 0.901。
这个多任务 U -Net 算法比其余两种算法具备更强的鲁棒性，通过与宰割和相干的融化前后分类共享特色，网络被迫学习更好的示意，以取得更好的宰割后果。
这是验证集中的三个样本的三维可视化。蓝色对象是真值，绿色对象是预测宰割
该模型在不同主题的三维宰割后果与真值之间具备较高的重叠率。然而，在肺静脉四周能够察看到一种显著的生效模式。一个可能的起因可能是肺静脉的数量和长度因人而异，这使得网络很难从无限的病例中学习。
训练工夫
在一台 Nvidia Titan Xp GPU 上，总的处理过程均匀大概须要 10 秒。
Atrial Segmentation Challenge 2018
论文作者应用了一种称为 Boostrap aggreging (Bagging)的集成办法。在同一模型训练 5 次，每次随机子集，而后均匀类概率。在主办方给出的 54 个测试用例中，DICE 均匀得分从 0.9197 进步到 0.9206。
论文地址：
[2018 STACOM] [Multi-Task Deep U-Net]：https://arxiv.org/abs/1810.13205
https://avoid.overfit.cn/post/4cba50b965f7491ebb423495a9ee0dbb
作者：Sik-Ho Tsang