关于数据:华为云MVP高浩打破AI开发瓶颈解决数据算法算力三大难题

107次阅读

共计 2803 个字符,预计需要花费 8 分钟才能阅读完成。

摘要: 在高浩看来,大量的数字蓝领人才和 AI 利用开发人员形成了以后 AI 行业倒退人才之基,这也为高校学生待业初期从事的工作指明了方向,而华为 ModelArts 平台在教育领域有着人造的数据、算法劣势,非常适合 AI 教学。

高浩,华为云 MVP,南京航空航天大学硕士毕业,曾就任于某研究所集团公司。先后从事大数据开发与数据挖掘工作,善于机器学习和数据分析。现任江苏知途教育科技有限公司人工智能课程研发负责人,“1+X”计算机视觉利用开发认证(高级,中级)副主编,高级认证讲师。

从人工智能被写入政府工作报告,到现在高校遍地开花的人工智能业余,AI 作为下一阶段迷信改革浪潮的新引擎,正在渗透到各行各业,当行业进入高速发展期,市场对高端人才的需要和依赖性也随之攀升。

高浩始终从事大数据开发与数据挖掘工作,善于机器学习和数据分析,当初负责江苏某教育科技公司的人工智能课程研发负责人。

在他看来,大量的数字蓝领人才和 AI 利用开发人员形成了以后 AI 行业倒退人才之基,这也为高校学生待业初期从事的工作指明了方向, 而华为 ModelArts 平台在教育领域有着人造的数据、算法劣势,非常适合 AI 教学。

为什么抉择 ModelArts?

AI 利用的开发非常复杂,次要体现在开发流程简短、繁缛,包含数据筹备、算法开发、模型开发、利用生成、部署和保护等多个环节,链路很长,每个环节都须要大量人力和计算资源的投入。

AI 开发须要的试验环境或者平台资源低廉,传统的实际教学体系与市场岗位、企业我的项目脱、产业倒退、以及集体职业倒退脱节。

除此之外,AI 的三个要害因素:算法、算力和数据,一方面推动了 AI 技术的利用落地,但也进步了学习上手的门槛。

思考到这些难题,高浩在调研了多家厂商的开发平台后,最终抉择了一站式 AI 开发平台 ModelArts。“算法能够采纳平台中已有的通用算法,缩短建设工夫,升高技术人员的入门门槛。算力能够依据按需形式租用 GPU 服务器,升高钻研的后期投入。”

高浩示意,ModelArts 的教学指南十分残缺,它系统地介绍了 AI 利用开发全流程及其子流程,包含数据筹备、算法抉择和开发、模型训练、评估和调优等,以及人工智能利用开发场景化实际。

通过一整套工具链和办法传递,每个开发者都能够借助 ModelArts 在具体业务场景下更快、更高效、更低成本地开发 AI 利用,从而更好地解决理论问题。高浩认为, 这样从教学施行角度上也更有普适指导意义。

为了进一步阐释 ModelArts 的易用性,高浩具体演示了一个基于 ModelArts 和 HiLens 的云、边、端协同的 AI 利用开发案例。

疾速上手 ModelArts

ModelArts 的“一站式”体现在它囊括了 AI 开发的各个环节, 包含数据处理、算法开发、模型训练、模型部署等等, 而且面向不同教训的开发者,提供相匹配的应用流程。

内容方面,ModelArts 反对图像分类、图像检测、视频剖析、语音辨认、产品举荐、异样检测等多种 AI 利用场景。性能方面,它反对从数据处理到算法开发、训练、部署、开发流程治理等多种性能。如下图所示:

其中,外围局部次要包含数据处理和模型的治理。

1、数据的解决

在 ModelArts 中,咱们都是以数据集为数据根底,进行模型开发或训练等操作的。创立数据集前须要获取拜访 OBS 的权限。

目前,ModelArts 反对如下 9 种类型的数据集,蕴含图片、音频、文本和其余类别:

• 图像分类

• 物体检测

• 声音分类

• 语音内容

• 语音宰割

• 文本分类

• 命名实体

• 文本三元组

• 自在格局

针对创立好的数据集,能够执行标注数据、公布、版本治理、批改、导入和删除等操作。

以图像分类为例,只须要给图片增加相应的标签即实现标注。物理检测的话,则须要在图片中应用标注框来框出标注对象,并打上标签,其余与图像分类类似。

此处强调一下命名实体数据集,命名实体场景是针对文本中的实体片段进行标注,如“工夫”、“地点”等。与文本分类不同的是,它需对片段进行标注,而不是全文。

文本三元组标注则实用于标注语句当中形如(主语 /Subject,谓词 /Predicate,宾语 /Object)结构化常识的场景,标注时岂但能够标注出语句当中的实体,还能够标注出实体之间的关系,其在依存句法分析、信息抽取等自然语言解决工作中常常用到。

声音方面,次要是依据播放内容,在“语音内容”文本框中填写音频内容,实现标注。

2、模型训练治理

数据处理实现后,接下来就是模型的训练。ModelArts 能够基于不同的数据抉择不同规格的资源池(CPU 或 GPU),依据用户抉择的数据量和资源不同,模型训练通常耗时几分钟到几十分钟不等。

同时,ModelArts 也反对查看模型训练的状况并及时调整模型参数。

除反对用户本人开发的模型外,ModelArts 还提供了 AI 市场算法, 开发者能间接应用已有的算法,再通过简略的调参失去一个称心的模型。

模型训练之后,ModelArts 模型治理可导入所有训练版本生成的模型,对立治理迭代和调试的模型, 同时它还反对从模板、容器镜像以及 OBS 等场景导入模型,不便模型的部署上线。

另外,ModelArts 提供了模型转换性能, 能够将已有的模型转换成所需格局,以便利用于算力和性能更高的芯片上。举个例子,用 Tensorflow 框架训练的模型,应用转换性能可转换成 om 格局,即可在昇腾芯片上部署运行。

端侧看 HiLens,让 AI 利用疾速落地

学会用 ModelArts 做好模型训练后,端侧的开发平台 HiLens 能够让 AI 利用落地更简略,高浩也谈了谈他应用 HiLens 的感触。

HiLens 是端云协同多模态 AI 开发利用平台,它提供简略易用的开发框架、开箱即用的开发环境、丰盛的 AI 技能市场和云上治理平台,对接多种端侧计算设施如 HiLens Kit,反对视觉及听觉 AI 利用开发、AI 利用在线部署、海量设施治理等。

高浩示意,购买 HiLens Kit 的普通用户如果须要疾速装置技能到设施,使其具备 AI 能力,能够到技能市场购买技能,根本流程如下:

对于具备编程能力的用户,也能够抉择本人创立技能。

购买或者创立好技能后,就是对其进行部署,具体能够返回数据管理查看技能成果。

基于 HiLens, 高浩筹备开发了一个检测施工现场作业人员是否佩戴安全帽的利用。

他在创立好绝对应的技能后,应用 HDMI 视频线连贯 HiLens Kit 视频输入端口和显示器,而后点击后盾治理中的启动技能,当状态变为“运行中”,表明技能胜利运行在端侧设施上。

最初利用的后果如下:

总的来说,开发这样一个检测工地施工平安的利用其实很简略,先用云端的 ModelArts 进行数据处理和模型训练,而后再借助 HiLens 将模型部署到端侧,最初就能失去一个能够落地的 AI 利用。

本文分享自华为云社区《【智能时代,AI 无处不在】华为云 MVP 高浩:突破 AI 开发瓶颈,解决数据、算法、算力三大难题》,原文作者:咱们都是云专家。

点击关注,第一工夫理解华为云陈腐技术~

正文完
 0