CIFAR-10 数据集利用：疾速入门数据加强办法 Mixup，显著晋升图像识别准确度
作者 |Ta-Ying Cheng，牛津大学博士研究生，Medium 技术博主，多篇文章均被平台官网刊物 Towards Data Science 收录
翻译|颂贤
深度学习蓬勃发展的这几年来，图像分类始终是最为炽热的畛域之一。传统上的图像识别重大依赖像是扩张 / 侵蚀或者是频域变换这样的解决办法，但特征提取的困难性限度了这些办法的提高空间。
现 现在的神经网络则显著进步了图像识别的准确率，因为神经网络可能寻找输出图像和输入标签之间的关系，并以此一直地调整它的辨认策略。
然而，神经网络往往须要大量的数据进行训练，而优质的训练数据并不是唾手可得的。因而当初许多人都在钻研如何可能实现所谓的 数据加强（Data augmentation），即在一个已有的小数据集中凭空减少数据量，来达到以一敌百的成果。
本文就将带大家意识一种简略而无效的数据加强策略 Mixup，并介绍间接在 PyTorch 中实现 Mixup 的办法。
为什么须要数据加强？
神经网络架构内的参数是依据给定的数据进行训练和更新的。但因为训练数据只笼罩了某一部分可能数据的散布状况，网络很可能就会在散布的“能见”局部适度拟合。
因而，咱们领有的训练数据越多，实践上就越能笼罩整个散布的状况，这也正是为什么以 数据为核心的 AI（data-centric AI）十分重要。当然，在数据量无限的状况下，咱们也并不是没有方法。通过数据加强，咱们就能够尝试通过微调原有数据的形式产生新数据，并将其作为“新”样本送入网络进行训练。
什么是 Mixup？
图 1：Mixup 的繁难演示图
假如咱们当初要做的事件是给猫和狗的图片做分类，并且咱们曾经有了一组标注好了是猫是狗的数据（例如[1, 0] -> 狗, [0, 1] -> 猫），那么 Mixup 简略来说就是将两张图像及其标签平均化为一个新数据。
具体而言，咱们能够用数学公式写出 Mixup 的概念：
$$
x = \lambda x_i + (1 – \lambda) (x_j),\\
y = \lambda y_i + (1 – \lambda) (y_j),
$$
其中，x和 y 别离是混合 x i（标签为 yᵢ）和xⱼ（标签为 y ⱼ）后的图像和标签，而 λ 则是从给定的贝塔散布中获得的随机数。
由此，Mixup 可能为咱们提供不同数据类别之间的间断数据样本，并因而间接扩充了给定训练集的散布，从而使网络在测试阶段更加弱小。
Mixup 的万用性
Mixup 其实只是一种数据加强办法，它和任何用于分类的网络架构都是正交的。也就是说，咱们能够在任何要进行分类工作的网络中对相应的数据集应用 Mixup 办法。
Mixup 的提出者张宏毅等人基于其最后发表的论文《Mixup: Beyond Empirical Risk Minimization》对多个数据集和架构进行了试验，发现了 Mixup 在神经网络之外的利用中也能体现其弱小能力。
计算环境
库
咱们将通过 PyTorch（包含 torchvision）来构建整个程序。Mixup 须要的从 beta 散布中生成的样本，咱们能够从 NumPy 库中取得。咱们还将应用 random 来为 Mixup 寻找随机图像。上面的代码可能导入咱们须要的所有库：
"""
Import necessary libraries to train a network using mixup
The code is mainly developed using the PyTorch library
"""
import numpy as np
import pickle
import random
import torch
import torch.nn as nn
import torch.nn.functional as F
import torchvision
import torchvision.transforms as transforms
from torch.utils.data import Dataset, DataLoader数据集
为了演示，咱们将用传统的图像分类工作来阐明 Mixup 的弱小，那么这种状况下 CIFAR-10 则会是十分现实的数据集。CIFAR-10 蕴含 10 个类别的 60000 张彩色图像（每类 6000 张），按 5:1 的比例分为训练和测试集。这些图像分类起来相当简略，但比最根本的数字辨认数据集 MNIST 要难一些。
有许多办法能够下载 CIFAR-10 数据集，比方多伦多大学网站里就蕴含了相干数据集。在这里，我举荐大家应用 格物钛 的公开数据集平台，因为在这个平台上，如果应用他们的 SDK，不必下载也能够获取收费的数据集资源。
事实上，这个公开数据集平台蕴含了行业内数百个出名的优质数据集，每个数据集都有相干的作者阐明，以及不同训练任务的标签，例如分类或指标检测。当然，大家也能够在这个平台下载其余分类数据集，如 CompCars 或 SVHN，来测试 Mixup 在不同场景下的性能。
硬件要求
一般来说，咱们最好用 GPU（显卡）来训练神经网络，因为它能显著进步训练速度。不过如果只有 CPU 可用，咱们还是能够对程序进行简略测试的。如果你想让程序可能自行确定所需硬件，应用以下代码即可：
"""Determine if any GPUs are available"""
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')实现
网络
这里，咱们的指标是要测试 Mixup 的性能，而不是调试网络自身，所以咱们只须要简略实现一个 4 层卷积层和 2 层全连贯层的卷积神经网络（CNN）即可。为了比拟应用和不应用 Mixup 的区别，咱们将利用同一个网络来确保比拟的准确性。
咱们能够应用下列代码来搭建下面所说的简单网络：
"""Create a simple CNN"""
class CNN(nn.Module):
def __init__(self):
super(CNN, self).__init__()
# Network consists of 4 convolutional layers followed by 2 fully-connected layers
self.conv11 = nn.Conv2d(3, 64, 3)
self.conv12 = nn.Conv2d(64, 64, 3)
self.conv21 = nn.Conv2d(64, 128, 3)
self.conv22 = nn.Conv2d(128, 128, 3)
self.fc1 = nn.Linear(128 * 5 * 5, 256)
self.fc2 = nn.Linear(256, 10)
def forward(self, x):
x = F.relu(self.conv11(x))
x = F.relu(self.conv12(x))
x = F.max_pool2d(x, (2,2))
x = F.relu(self.conv21(x))
x = F.relu(self.conv22(x))
x = F.max_pool2d(x, (2,2))
# Size is calculated based on kernel size 3 and padding 0
x = x.view(-1, 128 * 5 * 5)
x = F.relu(self.fc1(x))
x = self.fc2(x)
return nn.Sigmoid()(x)Mixup
Mixup 阶段是在数据集加载过程中实现的，所以咱们必须写入咱们本人的数据集，而不是应用 torchvision.datasets 所提供的默认数据集。
上面的代码简略地实现了 Mixup，并联合应用了 NumPy 的贝塔函数。
"""
Dataset and Dataloader creation
All data are downloaded found via Graviti Open Dataset which links to CIFAR-10 official page
The dataset implementation is where mixup take place
"""
class CIFAR_Dataset(Dataset):
def __init__(self, data_dir, train, transform):
self.data_dir = data_dir
self.train = train
self.transform = transform
self.data = []
self.targets = []
# Loading all the data depending on whether the dataset is training or testing
if self.train:
for i in range(5):
with open(data_dir + 'data_batch_' + str(i+1), 'rb') as f:
entry = pickle.load(f, encoding='latin1')
self.data.append(entry['data'])
self.targets.extend(entry['labels'])
else:
with open(data_dir + 'test_batch', 'rb') as f:
entry = pickle.load(f, encoding='latin1')
self.data.append(entry['data'])
self.targets.extend(entry['labels'])
# Reshape it and turn it into the HWC format which PyTorch takes in the images
# Original CIFAR format can be seen via its official page
self.data = np.vstack(self.data).reshape(-1, 3, 32, 32)
self.data = self.data.transpose((0, 2, 3, 1))
def __len__(self):
return len(self.data)
def __getitem__(self, idx):
# Create a one hot label
label = torch.zeros(10)
label[self.targets[idx]] = 1.
# Transform the image by converting to tensor and normalizing it
if self.transform:
image = transform(self.data[idx])
# If data is for training, perform mixup, only perform mixup roughly on 1 for every 5 images
if self.train and idx > 0 and idx%5 == 0:
# Choose another image/label randomly
mixup_idx = random.randint(0, len(self.data)-1)
mixup_label = torch.zeros(10)
label[self.targets[mixup_idx]] = 1.
if self.transform:
mixup_image = transform(self.data[mixup_idx])
# Select a random number from the given beta distribution
# Mixup the images accordingly
alpha = 0.2
lam = np.random.beta(alpha, alpha)
image = lam * image + (1 - lam) * mixup_image
label = lam * label + (1 - lam) * mixup_label
return image, label须要留神的是，咱们并没有对所有的图像都进行 Mixup，而是大略每 5 张解决 1 张。咱们还应用了一个 0.2 的贝塔散布。你能够本人为不同的试验扭转散布以及被混合的图像的数量，或者你会获得更好的后果!
训练和评估
上面的代码展现的是训练过程。咱们将批次大小设置为 128，学习率为 1e-3，总次数为 30 次。整个训练进行了两次，惟一区别是有没有应用 Mixup。须要留神的是，损失函数须要由咱们本人定义，因为目前 BCE 损失不容许应用带有小数的标签。
"""
Initialize the network, loss Adam optimizer
Torch BCE Loss does not support mixup labels (not 1 or 0), so we implement our own
"""
net = CNN().to(device)
optimizer = torch.optim.Adam(net.parameters(), lr=LEARNING_RATE)
def bceloss(x, y):
eps = 1e-6
return -torch.mean(y * torch.log(x + eps) + (1 - y) * torch.log(1 - x + eps))
best_Acc = 0
"""Training Procedure"""
for epoch in range(NUM_EPOCHS):
net.train()
# We train and visualize the loss every 100 iterations
for idx, (imgs, labels) in enumerate(train_dataloader):
imgs = imgs.to(device)
labels = labels.to(device)
preds = net(imgs)
loss = bceloss(preds, labels)
optimizer.zero_grad()
loss.backward()
optimizer.step()
if idx%100 == 0:
print("Epoch {} Iteration {}, Current Loss: {}".format(epoch, idx, loss))
# We evaluate the network after every epoch based on test set accuracy
net.eval()
with torch.no_grad():
total = 0
numCorrect = 0
for (imgs, labels) in test_dataloader:
imgs = imgs.to(device)
labels = labels.to(device)
preds = net(imgs)
numCorrect += (torch.argmax(preds, dim=1) == torch.argmax(labels, dim=1)).float().sum()
total += len(imgs)
acc = numCorrect/total
print("Current image classification accuracy at epoch {}: {}".format(epoch, acc))
if acc > best_Acc:
best_Acc = acc为了评估 Mixup 的成果，咱们进行了三次对照试验来计算最终的准确性。在没有 Mixup 的状况下，该网络在测试集上的准确率约为 74.5%，而在 应用了 Mixup的状况下，准确率进步到了约76.5%!
图像分类之外
Mixup 将图像分类的准确性带到了一个前所未有的高度，但钻研表明，Mixup 的益处还能延长到其余计算机视觉工作中，比方对抗性数据的生成和进攻。另外也有相干文献在 Mixup 拓展到三维示意中，目前的结果表明 Mixup 在这一畛域也非常无效的，例如 PointMixup。
结语
由此，咱们用 Mixup 做的小试验就功败垂成啦！在这篇文章中，咱们简略介绍了 Mixup 的概念并演示了如何在图像分类网络训练中利用 Mixup。残缺的实现形式能够在这—GitHub 仓库中找到。
【对于格物钛】：
格物钛智能科技 定位为面向机器学习的数据平台，致力于为 AI 开发者打造下一代新型基础设施，从根本上扭转其与非结构化数据的交互方式。咱们通过非结构化数据管理工具 TensorBay 和开源数据集社区 Open Datasets，帮忙机器学习团队和集体升高数据获取、存储和解决老本，减速 AI 开发和产品翻新，为人工智能赋能千行百业、驱动产业降级提供坚实基础。