在Jupyter notebook中为图像增加标签，预测新图像并可视化神经网络（并应用Docker Hub共享它们！）

作者|Jenny Huang
编译|Flin
起源|towardsdatascience

作者：Jenny Huang, Ian Hunt-Isaak, William Palmer

GitHub Repo: https://github.com/ianhi/AC29...

介绍

在新图像上训练图像宰割模型可能会令人生畏，尤其是当你须要标记本人的数据时。为了使此工作更容易，更快捷，咱们构建了一个用户敌对的工具，可让你在Jupyter notebook中构建整个过程。在以下各节中，咱们将向你展现咱们的工具如何使你：

  1. 手动标记本人的图像
  2. 通过迁徙学习建设无效的宰割模型
  3. 可视化模型及其后果
  4. 以Docker映像模式共享你的我的项目

该工具的次要长处是易于应用，并且与现有的数据迷信工作流程很好地集成在一起。通过交互式小部件和命令提示符，咱们构建了一种用户敌对的形式来标记图像和训练模型。

最重要的是，所有内容都能够在Jupyter notebook上运行，从而疾速，轻松地建设模型，而没有太多开销。

最初，通过在Python环境中工作并应用Tensorflow和Matplotlib等规范库，能够将该工具很好地集成到现有的数据迷信工作流程中，使其非常适合科学研究等用处。

例如，在微生物学中，宰割细胞的显微镜图像是十分有用的。然而，随着工夫的推移，跟踪细胞很可能须要宰割成千盈百的图像，这可能很难手动实现。在本文中，咱们将应用酵母细胞的显微镜图像作为数据集，并展现咱们如何构建工具来辨别背景、母细胞和子细胞。

1.标签

现有许多工具能够为图像创立带标签的掩膜，包含Labelme，ImageJ甚至是图形编辑器GIMP。这些都是很棒的工具，然而它们无奈集成到Jupyter notebook中，这使得它们很难与许多现有工作流程一起应用。

  • Labelme：https://github.com/wkentaro/l...
  • ImageJ：https://imagej.net/Welcome
  • GIMP：https://www.gimp.org/

侥幸的是，Jupyter Widgets使咱们可能轻松制作交互式组件并将其与咱们其余的Python代码连贯。

  • Jupyter Widgets：https://ipywidgets.readthedoc...

要在笔记本中创立训练掩膜，咱们要解决两个问题：

  1. 用鼠标抉择图像的一部分
  2. 轻松在图像之间切换并抉择要标记的类别

为了解决第一个问题，咱们应用了Matplotlib小部件后端和内置的LassoSelector。

  • LassoSelector：https://matplotlib.org/3.1.1/...

LassoSelector会解决一条线以显示你所抉择的内容，然而咱们须要一些自定义代码来将掩膜绘制为覆盖层：

import numpy as npimport matplotlib.pyplot as pltfrom matplotlib.widgets import LassoSelectorfrom matplotlib.path import Pathclass image_lasso_selector:    def __init__(self, img, mask_alpha=.75, figsize=(10,10)):        """        img must have shape (X, Y, 3)        """        self.img = img        self.mask_alpha = mask_alpha        plt.ioff() # see https://github.com/matplotlib/matplotlib/issues/17013        self.fig = plt.figure(figsize=figsize)        self.ax = self.fig.gca()        self.displayed = self.ax.imshow(img)        plt.ion()                lineprops = {'color': 'black', 'linewidth': 1, 'alpha': 0.8}        self.lasso = LassoSelector(self.ax, self.onselect,lineprops=lineprops, useblit=False)        self.lasso.set_visible(True)                pix_x = np.arange(self.img.shape[0])        pix_y = np.arange(self.img.shape[1])        xv, yv = np.meshgrid(pix_y,pix_x)        self.pix = np.vstack( (xv.flatten(), yv.flatten()) ).T                self.mask = np.zeros(self.img.shape[:2])            def onselect(self, verts):        self.verts = verts        p = Path(verts)        self.indices = p.contains_points(self.pix, radius=0).reshape(self.mask.shape)        self.draw_with_mask()            def draw_with_mask(self):        array = self.displayed.get_array().data        # https://en.wikipedia.org/wiki/Alpha_compositing#Straight_versus_premultiplied             self.mask[self.indices] = 1        c_overlay = self.mask[self.indices][...,None]*[1.,0,0]*self.mask_alpha        array[self.indices] = (c_overlay + self.img[self.indices]*(1-self.mask_alpha))        self.displayed.set_data(array)        self.fig.canvas.draw_idle()            def _ipython_display_(self):        display(self.fig.canvas)

对于第二个问题，咱们应用ipywidgets增加了丑陋的按钮和其余控件：

咱们联合了这些元素（以及滚动缩放等改良性能）来制作了一个标签控制器对象。当初，咱们能够拍摄酵母的显微镜图像并宰割母细胞和子细胞：

套索抉择图像标签演示:
https://youtu.be/aYb17GueVcU

你能够查看残缺的对象，它容许你滚动，缩放，右键单击以平移，并在此处（https://github.com/ianhi/AC29...） 抉择多个类。

当初咱们能够在notebook上标记大量图像，将它们保留到正确的文件夹构造中，而后开始训练CNN！

2.模型训练

模型

U-net是一个卷积神经网络，最后设计用于宰割生物医学图像，但已胜利用于许多其余类型的图像。它以现有的卷积网络为根底，能够在很少的训练图像的状况下更好地工作，并进行更准确的宰割。这是一个最新模型，应用segmentation_models库也很容易实现。

  • segmentation_models库：https://github.com/qubvel/seg...

U-net的独特之处在于它通过穿插连贯将编码器和解码器联合在一起（上图中的灰色箭头）。这些跳跃连贯从下采样门路中的雷同大小的局部跨到上采样门路。这样能够进步你对上采样时输出到模型中的原始像素的理解，这已被证实能够进步宰割工作的性能。

只管U-net很棒，然而如果咱们没有给它足够的训练示例，它将无奈失常工作。思考到手动宰割图像的繁琐工作，咱们仅手动标记了13张图像。仅用很少的训练示例，不可能训练具备数百万个参数的神经网络。为了克服这个问题，咱们既须要数据裁减又须要迁徙学习。

数据裁减

天然，如果你的模型具备很多参数，则须要成比例的训练示例能力取得良好的性能。应用图像和掩膜的小型数据集，咱们能够创立新图像，这些图像对于模型和原始图像一样具备洞察力和实用性。

咱们该怎么做？咱们能够翻转图像，旋转角度，向内或向外缩放图像，裁剪，平移图像，甚至能够通过增加噪点来含糊图像，但最重要的是，咱们能够将这些操作联合起来以创立许多新的训练例子。

与分类相比，图像数据加强在宰割方面具备更多的复杂性。对于分类，你只须要放大图像，因为标签将放弃不变（0或1或2…）。然而，对于宰割，还须要与图像同步转换标签（作为掩膜）。为此，咱们将albumentations库与自定义数据生成器一起应用，因为据咱们所知，Keras ImageDataGenerator以后不反对组合“Image+mask”。

import albumentations as Aimport numpy as npfrom tensorflow.keras.preprocessing.image import ImageDataGeneratorTARGET_SIZE = (224,224)BATCH_SIZE = 6def create_augmentation_pipeline():    augmentation_pipeline = A.Compose(    [        A.HorizontalFlip(p = 0.5), # Apply horizontal flip to 50% of images        A.OneOf(            [                # Apply one of transforms to 50% of images                A.RandomContrast(), # Apply random contrast                A.RandomGamma(), # Apply random gamma                A.RandomBrightness(), # Apply random brightness            ],            p = 0.5         ),        A.OneOf(            [                # Apply one of transforms to 50% images                A.ElasticTransform(                    alpha = 120,                    sigma = 120 * 0.05,                    alpha_affine = 120 * 0.03                ),                A.GridDistortion()            ],            p = 0.5         )    ],    p = 0.9 # In 10% of cases keep same image because that's interesting also    )       return augmentation_pipeline  def create_datagenerator(PATH):    options = {'horizontal_flip': True, 'vertical_flip': True}    image_datagen = ImageDataGenerator(rescale=1./255, **options)    mask_datagen = ImageDataGenerator(**options)    val_datagen = ImageDataGenerator(rescale=1./255)    val_datagen_mask = ImageDataGenerator(rescale=1)        # Create custom zip and custom batch_size    def combine_generator(gen1, gen2, batch_size=6,training=True):        while True:            image_batch, label_batch = next(gen1)[0], np.expand_dims(next(gen2)[0][:,:,0],axis=-1)            image_batch, label_batch = np.expand_dims(image_batch,axis=0), np.expand_dims(label_batch,axis=0)            for i in range(batch_size - 1):                image_i,label_i = next(gen1)[0], np.expand_dims(next(gen2)[0][:,:,0],axis=-1)                              if training == True:                    aug_pipeline = create_augmentation_pipeline()                    augmented = aug_pipeline(image=image_i, mask=label_i)                    image_i, label_i = augmented['image'], augmented['mask']                image_i, label_i = np.expand_dims(image_i,axis=0),np.expand_dims(label_i,axis=0)                image_batch = np.concatenate([image_batch,image_i],axis=0)                label_batch = np.concatenate([label_batch,label_i],axis=0)                          yield((image_batch,label_batch))    seed = np.random.randint(0,1e5)    train_image_generator = image_datagen.flow_from_directory(PATH+'train_imgs', seed=seed, target_size=TARGET_SIZE, class_mode=None, batch_size=BATCH_SIZE)    train_mask_generator = mask_datagen.flow_from_directory(PATH+'train_masks', seed=seed, target_size=TARGET_SIZE, class_mode=None, batch_size=BATCH_SIZE)    train_generator = combine_generator(train_image_generator, train_mask_generator,training=True)        val_image_generator = val_datagen.flow_from_directory(PATH+'val_imgs', seed=seed, target_size=TARGET_SIZE, class_mode=None, batch_size=BATCH_SIZE)    val_mask_generator = val_datagen_mask.flow_from_directory(PATH+'val_masks', seed=seed, target_size=TARGET_SIZE, class_mode=None, batch_size=BATCH_SIZE)    val_generator = combine_generator(val_image_generator, val_mask_generator,training=False)        return train_generator, val_generator

迁徙学习

即便咱们当初曾经创立了100个或更多的图像，但这依然不够，因为U-net模型具备超过600万个参数。这也是迁徙学习发挥作用的中央。

迁徙学习能够让你在一个工作上训练一个模型，并将其重用于另一项相似工作。它极大地缩小了你的训练工夫，更重要的是，即便像咱们这样的小型训练，它也能够产生无效的模型。例如，诸如MobileNet，Inception和DeepNet之类的神经网络通过训练大量图像来学习特色空间，形态，色彩，纹理等。而后，咱们能够通过获取这些模型权重并对其进行略微批改以激活咱们本人的训练图像中的模式来传递所学的内容。

当初咱们如何应用U-net的迁徙学习呢？咱们应用segmentation_models库来实现这一点。咱们应用你抉择的深层神经网络（MobileNet、Inception、ResNet）的各层以及在图像分类（ImageNet）上找到的参数，并将它们用作U-net的前半部分（编码器）。而后，应用本人的扩大数据集训练解码器层。

整顿

咱们将所有这些放到了Segmentation模型类中，你能够在此处找到。

  • https://github.com/ianhi/AC29...

创立模型对象时，会呈现一个交互式命令提示符，你能够在其中自定义U-net的各个方面，例如损失函数，骨干网等：

https://vimeo.com/419423808

通过30个星期的训练，咱们达到了95％的准确性。请留神，抉择良好的损失函数很重要。咱们首先尝试了穿插熵损失，然而该模型无奈辨别面貌类似的母细胞和子细胞，并且因为看到的非酵母像素多于酵母像素的类不均衡，因而该模型的性能不佳。

咱们发现应用Dice loss能够取得更好的后果。Dice loss与IOU相关联，通常更适宜宰割工作，因为它能够放大预测值和实在值之间的差距。

3.可视化

当初咱们的模型曾经训练结束，让咱们应用一些可视化技术来查看其工作原理。

咱们依照Ankit Paliwal的教程进行操作。你能够在他相应的GitHub存储库中找到实现。在本节中，咱们将在酵母细胞宰割模型上可视化他的两种技术，即中间层激活和类激活的热图。

  • 参考教程：https://towardsdatascience.co...
  • GitHub存储库：https://github.com/anktplwl91...

中间层激活

第一种技术在测试图像上显示网络前向流传时中间层的输入。这使咱们能够看到输出图像的哪些特色在每一层都突出显示。输出测试图像后，咱们将网络中一些卷积层的前几个输入可视化：

在编码器层中，凑近输出的过滤器可检测更多细节，而凑近模型输入的过滤器可检测更个别的特色，这是意料之中的。在解码器层中，咱们看到了相同的模式，即从形象到更具体的细节，这也是意料之中的。

类激活的热图

接下来，咱们看一下类激活图。这些热图让你理解图像的每个地位对于预测输入类别的重要性。在这里，咱们将酵母细胞模型的最初一层可视化，因为类预测标签在很大水平上依赖于它。

从热图能够看出，细胞地位以及局部图像边界已被正确激活，这有些令人诧异。

咱们还钻研了本教程中的最初一项技术，该技术显示了每个卷积滤波器最大水平地响应哪些图像，然而对于咱们特定的酵母细胞模型，可视化成果并不是很有用。

4.制作和共享Docker映像

找到很棒的模型并尝试运行它，却发现因为神秘的依赖关系问题，它在你的环境中不起作用，这十分令人丧气。

咱们通过为咱们的工具创立一个Docker镜像来解决这个问题。这使咱们能够齐全定义运行代码的环境，甚至是操作系统。

对于此我的项目，咱们基于Jupyter Docker Stacks的jupyter/tensorflow-notebook镜像建设Docker镜像。而后，咱们仅增加了几行代码来装置所需的库，并将GitHub存储库的内容复制到Docker映像中。

如果你好奇，能够在此处查看咱们最终的Dockerfile 。最初，咱们将此映像推送到Docker Hub。你能够通过运行以下命令进行尝试：

sudo docker run -p 8888:8888 ianhuntisaak/ac295-final-project:v3 \-e JUPYTER_LAB_ENABLE=yes

论断与将来工作

应用此工具，你能够以用户敌对的形式轻松地在新图像上训练宰割模型。尽管无效，但在可用性，自定义和模型性能方面仍有改良的空间。未来，咱们心愿：

  1. 通过应用html5画布构建自定义Jupyter小部件来改善套索工具，以缩小手动宰割时的滞后
  2. 摸索新的损失函数和模型作为迁徙学习的根底
  3. 使解释可视化更加容易，并向用户倡议改善后果的办法

原文链接：https://towardsdatascience.co...

欢送关注磐创AI博客站：
http://panchuang.net/

sklearn机器学习中文官网文档：
http://sklearn123.com/

欢送关注磐创博客资源汇总站：
http://docs.panchuang.net/