关于后端:EasyCV-DataHub-提供多领域视觉数据集下载助力模型生产

简介：在人工智能广泛应用的明天，深度学习技术曾经在各行各业起到了重要的作用。在计算机视觉畛域，深度学习技术在大多数场景曾经代替了传统视觉办法。如果说深度学习是一项重要的生产工具，那么数据就是不可或缺的生产资料，巧妇难为无米之炊，数据对于视觉模型生产起到了至关重要的作用。作者：伝迹 谦言 夕陌  临在在人工智能广泛应用的明天，深度学习技术曾经在各行各业起到了重要的作用。在计算机视觉畛域，深度学习技术在大多数场景曾经代替了传统视觉办法。如果说深度学习是一项重要的生产工具，那么数据就是不可或缺的生产资料，巧妇难为无米之炊，数据对于视觉模型生产起到了至关重要的作用。EasyCV 是阿里云机器学习平台团队开源的基于 Pytorch 的 all-in-one 视觉算法建模工具，搭建了丰盛欠缺的自监督算法体系，提供了成果 SOTA 的视觉 Transformer 预训练模型，modelzoo 笼罩图像自监督训练、图像分类、度量学习、物体检测、实例宰割、语义宰割、关键点检测等畛域。EasyCV 提供了不同数据源 (data_source) 的形象，反对间接读取多种开源数据集格局例如 Cifar、ImageNet、CoCo 等，同时也反对 PAI 智能标注平台 Itag 标注格局和 Tfrecord 格局数据。TFrecord 格局数据反对应用 DALI 进行数据处理减速，Itag 标注格局图片反对通过缓存机制减速数据读取。为了不便 EasyCV 的用户进行模型指标复现、在理论场景训练应用模型，EasyCV 汇总了不同畛域的罕用数据集的介绍和下载地址，以后涵盖图像分类、指标检测、图像宰割、姿势预计等方向，并针对较大且罕用的数据集例如 imagenet 在原许可证容许的状况下提供了国内网盘地址，不便用户疾速下载数据集进行论文指标对齐、模型成果比照、以及理论场景下的模型训练。次要数据集介绍上面按畛域介绍一下 EasyCV 以后整顿提供的数据集，其中加粗局部的数据集能够通过网盘链接下载。datahub 的应用细节可参考：https://github.com/alibaba/Ea… 图像分类数据集汇总：ImageNet1K、ImageNet21K、Cifar10、Cifar100、MNIST、Fashion-MNIST、Flower102、Caltech101、Caltech256ImageNet 官网链接：https://image-net.org/downloa… 网盘链接：ImageNet1k https://pan.baidu.com/s/13pKw… 提取码：0zasImageNet1k TFrecord https://pan.baidu.com/s/153SY… 提取码：5zdcImageNet21k https://pan.baidu.com/s/1eJVP… 提取码:kaegImageNet 是市场上最大、最受欢迎的开源数据集之一。ImageNet 领有超过 1400 万张已手动标注的图像。数据库按 WordNet 层次结构予以组织，对象级标注通过边界框实现。

指标检测数据集汇总：COCO2017、VOC2007、VOC2012、LVIS、Cityscapes、Object365、CrowdHuman、OpenImages、WIDER FACE、DeepFashion、Fruit Images、Oxford-IIIT Pet、Arthropod Taxonomy Orders、African Wildlife、AI-TOD 航空图、TinyPerson、WiderPerson、Caltech Pedestrian Dataset、DOTACOCO2017 官网链接：https://cocodataset.org/#home 网盘链接：https://pan.baidu.com/s/14rO1… 提取码:bcmmCOCO 是一个大型图像数据集，其被用于机器视觉畛域的对象检测与宰割、人物关键点检测、填充宰割与字幕生成。该数据集以场景了解为主，图像中的指标则通过准确的宰割进行地位标定。该数据集具备指标宰割、情景感知和超像素宰割三个特色，其蕴含 33 万张图像、150 万指标实例、80 个指标类、91 个物品类以及 25 万关键点人物。

LVIS 官网链接：https://www.lvisdataset.org/d… 网盘链接：https://pan.baidu.com/s/1Untu… 提取码:8ief 大规模的词汇实例宰割数据集(Large Vocabulary Instance Segmentation,LVIS)，蕴含了 164k 图像，并针对超过 1000 类物体进行了约 200 万个高质量的实例宰割标注。因为数据集中蕴含天然图像中的物体散布人造具备长尾属性。

Objects365 官网链接：https://www.objects365.org/ov… 该数据集总共蕴含 63 万张图像，笼罩 365 个类别，高达 1000 万框数，具备规模大、品质高、泛化能力强的特点，远超 Pascal VOC、COCO 等传统数据集。

宰割数据集汇总：VOC2007、VOC2012、Pascal Context、COCO-Stuff 10K、Cityscapes、ADE20KCityscapes 官网链接：https://www.cityscapes-datase… 该数据集拍摄了国外多个城市街道场景图片，构建数据集，其分为三个局部，包含训练集，验证集和测试集，一共 19 个类别。

ADE20K 官网链接：http://groups.csail.mit.edu/v… 网盘链接：https://pan.baidu.com/s/1ZuAu… 提取码:dqimADE20K 涵盖了场景、对象、对象局部的各种正文，在某些状况下甚至是局部的局部。有 25k 张简单日常场景的图像，其中蕴含天然空间环境中的各种对象。每个图像均匀有 19.5 个实例和 10.5 个对象类。

姿势预计数据集汇总：COCO2017、MPII、CrowdPose、OCHumanMPII 官网链接：http://human-pose.mpi-inf.mpg… 网盘链接：https://pan.baidu.com/s/1uscG… 提取码:w6afMPII 人体姿势数据集是评估关节人体姿势预计的最先进的基准。该数据集包含大概 25K 张图片，其中包含超过 40K 名带有标注身材关节的人。这些图像是依据人类日常流动的既定分类零碎收集的。总体而言，数据集涵盖 410 项人类流动，每张图像都有流动标签。每张图片都是从 YouTube 视频中提取的，并提供了前后未正文的帧。

 EasyCV 数据集接口应用示例设计思路 EasyCV 形象了 data_source 来封装不同格局的数据集，data_source 输入图像相干的信息，而后通过指定 dataset_type 来创立不同工作类型的数据集对象进行训练。其中 data_source 类型包含 ClsSourceImageList、DetSourceCoco、DetSourceVOC、PoseTopDownSourceCoco 和 SegSourceRaw 等等，dataset_type 类型包含 RawDataset、ClsDataset、DetDataset 和 SegDataset 等等。以 ImageNet 数据集为例：# 1. 配置 imagenet 数据集的 config
dataset_type = ‘ClsDataset’
data_train_list = ‘data/imagenet_raw/meta/train_labeled.txt’
data_train_root = ‘data/imagenet_raw/train/’
data_test_list = ‘data/imagenet_raw/meta/val_labeled.txt’
data_test_root = ‘data/imagenet_raw/val/’

dataset_type = ‘ClsDataset’
data = dict(

imgs_per_gpu=32,
workers_per_gpu=4,
train=dict(
    type=dataset_type,
    data_source=dict(
        list_file=data_train_list,
        root=data_train_root,
        type='ClsSourceImageList'),
    pipeline=train_pipeline),
val=dict(
    type=dataset_type,
    data_source=dict(
        list_file=data_test_list,
        root=data_test_root,
        type='ClsSourceImageList'),
    pipeline=test_pipeline))

2. config 实例化

cfg = mmcv_config_fromfile(args.config)

3. 数据集实例化

distributed = torch.cuda.is_available(
) and torch.distributed.is_initialized()
default_args = dict(

batch_size=cfg.data.imgs_per_gpu,
workers_per_gpu=cfg.data.workers_per_gpu,
distributed=distributed)

dataset = build_dataset(cfg.data.train, default_args)其余和 Imagenet 格局类似的数据集，都能够通过替换 data_train_list、data_train_root、data_test_list 和 data_test_root 进行配置应用，具体的 config 配置形式可参考 https://github.com/alibaba/Ea…。我的项目开源地址：https://github.com/alibaba/Ea… EasyCV 往期分享 EasyCV 带你复现更好更快的自监督算法 -FastConvMAEYOLOX-PAI: 减速 YOLOX, 比 YOLOV6 更快更强基于 EasyCV 复现 DETR 和 DAB-DETR，Object Query 的正确打开方式基于 EasyCV 复现 ViTDet：单层特色超过 FPNMAE 自监督算法介绍和基于 EasyCV 的复现 EasyCV 开源|开箱即用的视觉自监督 +Transformer 算法库
原文链接：https://click.aliyun.com/m/10…  
本文为阿里云原创内容，未经容许不得转载。