图像全景语义宰割是人工智能计算机视觉畛域的一个重要分支,它联合了图像分类、指标检测与图像宰割等技术,是针对图像数据所进行的一种像素级分类。

通过全景语义宰割解决后的图像,广泛应用于主动驾驶、无人机等场景下的机器学习,是图像处理畛域最常见的一种数据标注类型。

这是一张通过全景语义宰割解决后的2D图像:

图1:主动驾驶图像全景语义宰割

值得注意的是,图1只是通过语义宰割解决后的“视觉直观图像”,并不能间接用于机器学习。在此张图像根底上导出的“JSON”格局以及“Mask”格局数据,能力被机器辨认与利用。

一.JSON格局数据

JSON,英文全称为JavaScript Object Notation,是一种轻量级的数据交换格局,采纳齐全独立于编程语言的文本格式来存储和示意数据。

JSON格局,最早在2001年由Douglas Crockford提出,目标是取代繁琐轻便的XML格局。相较于XML格局,JSON格局有两个显著的长处:书写简略,高深莫测;合乎JavaScript原生语法,能够由解释引擎间接解决,不必另外增加代码。

这些长处让JSON格局迅速被承受,目前曾经成为各大网站替换数据的规范格局,并被写入ECMAScript 5,成为规范的一部分。

在人工智能畛域,因为JSON格局数据具备良好的可读和便于疾速编写的个性,并可在不同平台之间进行数据交换,同时也具备相似于C语言的习惯(包含C, C++, C#, Java, JavaScript, Perl, Python等),使其成为标注数据集较为理想的数据导出格局。

以图1为例,通过SEED数据服务平台全景语义宰割解决后,导出的JSON格局数据为:

JSON格式文件(截取局部内容)

相较于图像类数据,JSON数据以字符形容出图像中的相干信息,蕴含的内容包含更新工夫、项目名称、数据集名称、色彩信息、点坐标信息、实现工夫、标签名称等,将图像信息化,无效提取图像数据中的要害信息,完满符合机器学习的需要。

二.Mask图像格式数据

Mask,中文翻译为掩膜,概念起源于半导体制造业。

在半导体制作中,许多芯片工艺步骤采纳光刻技术,用于这些步骤的图形“底片”称为掩膜(也称作“掩模”),其作用是:在硅片上选定的区域中对一个不通明的图形模板遮蔽,继而上面的侵蚀或扩散将只影响选定的区域以外的区域。

在图像处理畛域,Mask示意用选定的图像、图形或物体,对解决的图像(全副或部分)进行遮挡,来管制图像处理的区域或处理过程。

在数据标注畛域,Mask图像能够用相似性变量或图像匹配办法检测和提取图像中与掩膜类似的结构特征,不便机器辨认与学习。

同样以图1为例,通过SEED数据服务平台全景语义宰割解决后,导出的Mask图像为:

Mask图像

相较于图1,Mask图像用色块笼罩原有标注对象,同一色块示意雷同属性内容。Mask图像类数据集广泛应用于图像识别、指标分类等畛域。

三.SEED平台数据导出格局

在一个残缺的数据生命周期内,数据标注只占总体流程中的一部分,通过标注的数据只有通过导出解决,能力用于相干算法辨认与学习。

目前,SEED数据服务平台全面反对各类型数据格式的导出,反对包含.json、.xml、.csv、.xls以及Mask等多种数据导出格局,满足不同类型算法模型的差异化需要。

同时,SEED数据服务平台还反对全景语义宰割模式下的JSON+Mask双向数据导出,同一份数据只需标注一次,即可输入两种不同格局的结构化数据:

双向数据导出性能下,JSON+Mask无需转换,更无需反复导出,既可满足不同场景下的算法需要,同时也可防止重复劳动,晋升生产效率。