关于ai开发:AI运动阿里体育端智能最佳实践

28次阅读

共计 3692 个字符,预计需要花费 10 分钟才能阅读完成。

简介:过来一年,阿里体育技术团队在端智能方面一直摸索,特地在静止衰弱场景下实现了实际落地和业务赋能,这就是 AI 静止我的项目。AI 静止我的项目践行静止数字化的理念,为静止人口的上翻提供了重要撑持,迈出了阿里体育端智能静止畛域的第一步,为用户带来了更加乏味的新鲜玩法。上线以来,我的项目受到了宽泛关注。

作者 | 其声
起源 | 阿里技术公众号

一 背景

过来一年,阿里体育技术团队在端智能方面一直摸索,特地地,在静止衰弱场景下实现了实际落地和业务赋能,这就是 AI 静止我的项目。AI 静止我的项目践行静止数字化的理念,为静止人口的上翻提供了重要撑持,迈出了阿里体育端智能静止畛域的第一步,为用户带来了更加乏味的新鲜玩法。上线以来,我的项目受到了宽泛关注。

2020 年因新冠疫情,传统的线下静止受到限制,居家静止逐步成为新趋势。基于阿里巴巴弱小的技术积淀,阿里体育团队适应线上静止的迫切需要,开发出基于 AI 辨认的智能静止,为用户提供了简便、好玩的新型居家静止形式。只需一部手机和 3 - 4 平米的场地,就能够发展 AI 静止。静止时,用户关上乐能源 APP,将手机固定在场地一侧,适当设置手机角度,依据利用的主动语音提醒调整身材与手机间隔,直到人体齐全位于辨认框内,即可开始静止。

二 端智能实际

通过⼀年的摸索和欠缺,从验证 DEMO 到囊括多种动作、反对能力迁徙的 AI 静止智能平台,阿⾥体育建设了系统化的客户端静止智能体系。端智能静止体系基于阿里深度推理引擎在手机端进行推理,辨认⼈体姿势和动作,剖析人体姿势、静止轨迹、动作角度等,给出实时反馈并进行动作纠正,通过能力的模块化组合,现已反对十多种静止动作和数十种玩法,实现了静止与 AI 的有机整合,让用户的线上静止变得上手简略而又充斥趣味。

三 技术支持

端智能静止的根本技术思路是使用 MNN 推理引擎进行推理和姿势辨认。即

  • 实时检测图像及视频中的人体轮廓,定位人体 14 个要害骨骼点,包含头、肩、脚等重点关节部位。
  • 基于这些关键点信息,连点成线、连线造成动作,能够剖析人体姿势、动作角度和静止轨迹。
  • 通过动作姿势匹配,检测用户静止动作,实现动作的计时与计数。同时,实时检测剖析动作标准化水平,给出状态反馈,纠正用户动作,实现互动,进步交互体验。

传统静止形式下,用户在静止时能够及时失去现场辅助人员(教练员、考官或亲友)的实时揭示和帮忙。端智能静止形式下,用户在做动作时只能与手机利用进行交互。交互的能力和辨认程度会受到推理模型能力、静止场景复杂度、静止匹配辨认算法等一系列因素的影响。在端智能静止能力的摸索和落地过程中,会遇到一些新的问题或者难题,如人机方位匹配、骨骼点辨认丢点、点误辨认、二维失真、用户挪动、手机晃动、场景噪声等。这些问题不一一赘述,仅选取几个有代表性的问题进行分享:

  • 动作的有效性判断及要害算法设计,以进步动作匹配精度,这是智能静止能力的根底。
  • 在保障辨认成果的前提下,采取有效措施,升高挪动终端的资源耗费,以晋升用户体验,次要体现是费电和发热。
  • 采取更加灵便的形式,加重挪动端测试的人力和工夫耗费,进步开发和测试效率,为团队的交付保障提供无力撑持。

晋升辨认精度

智能静止带给用户的最直观、最根底的感触就是动作计数准确性。如果动作辨认计数不准,用户应用 APP 的积极性就会打消,参与性就不高。为此,咱们要首先解决计数准不准的问题。

智能静止计数的基本原理是,把一个残缺动作分解成若干个小步骤,而后对每个步骤触发辨认和判断,全副步骤遍历后,对整个动作进行有效性确认。如果无效,计数加 1;反之就反复上述过程。简言之,智能静止辨认与计数是一个状态机。将一个静止动作离散化,形象成 N 个状态机,{s(0),s(1),s(2),…,s(n-1)},状态机依照肯定的程序顺次进行检测,全副检测到象征用户实现了该动作,对计数加 1;若某个状态未被检测到,触发对应反馈信息,重置状态机进入新的循环。每一个状态机对应着肯定的触发条件,通过实时骨骼点坐标与状态的循环匹配性检测,获取一个动作匹配后果。

不难看出,动作辨认精度与动作匹配算法严密相干,算法匹配成果好,辨认精度就越高。为进步动作辨认精度,能够选取影响匹配算法的因素作为切入点和突破口,骨骼点、状态机、匹配等。相应的解决办法为:

  • 进步骨骼点稳定性,确保状态匹配后果精度。
  • 抉择骨骼点稳固、易辨认、具备代表性的动作作为状态机。
  • 帧率要可能笼罩一个动作的所有状态机。

上面将举例进行阐明。

骨骼点辨认准确度对动作匹配有着重要影响。如下图所示:测试对象左手臂骨骼点辨认呈现谬误。如果径直进行匹配,显然会失去谬误的后果。针对这种状况,该当利用好用户的历史动作信息,在动作匹配算法上对动作匹配进行纠正。

还有一种状况,用户曾经实现某种动作的全副动作,如下图中的开合跳,因为采样帧率低,无奈捕捉和辨认全副开合跳静止过程中的全副姿势,造成某个状态匹配不胜利,最终导致开合跳动作匹配谬误。对于低帧率问题,可从模型和输出源两个方面着手。对于模型来说,在不影响动作辨认精度状况下,采纳精简模型,缩小推理耗时。对不同的终端设备,采纳不同分辨率的输出源,升高原始数据处理操作耗时。

升高性能耗费

受物理条件影响,手机端算力和存储空间无限。此外,深度学习推理自身蕴含大量的运算,资源耗费大。如果间接在端上进行深度学习推理,再思考上手机端本身业务(如摄像头、录制视频、动画成果)的资源耗费,CPU 和内存开销就显著增长,直观体现是手机发热显著,电量耗费很快。智能静止在端智能上落地时,要特地思考升高性能耗费,这对于晋升用户体验来说至关重要。

升高整体性能耗费,要追根溯源,从升高单帧耗费处着手。单帧解决能够划分为三个阶段:别离是推理前、推理和推理后。

这三个阶段别离起着不同的作用。推理前阶段次要实现格局转换,将摄像头获取的流数据转换为推理须要的数据格式,如 YUV 格局、RGBA 格局。推理阶段次要实现计算输入骨骼点坐标。对输出的帧数据,通过推理引擎,执行一系列算法,输入推理后果,如姿势辨认是将输出图片的 RGBA 数据转换成骨骼点坐标数据。推理后阶段次要实现展现,进行渲染操作和业务相干操作,如 UI 展现、动画成果展现。

相应地,可对上述三个阶段别离进行优化。其中,推理过程中的优化由阿里深度推理引擎 MNN 负责,这里不作探讨。对于推理前阶段的数据转换,应缩小不必要的两头转换环节,间接将摄像头流数据转换成为须要的格局。如推理应用 RGBA 裸数据,就间接将摄像头流数据转换为 RGBA 格局。对于推理后阶段,应依据承载的平台抉择适合的渲染计划,升高渲染耗费。对于 iOS 平台,可间接采纳 Metal 进行渲染提效。

进步测试效率

AI 智能静止是阿里体育团队在体育数字化上的一次大胆尝试。在利用开发特地是测试环节中,投入相当的人力、设施及工夫,不断完善利用性能、优化利用性能、晋升用户体验。此外,AI 静止辨认的成果测试受环境因素的影响较大,如光线、背景、间隔、人物在摄像头中的成像大小等。这就对测试形式提出了考验。

以传统测试计划为例:个别是真人、实地、实时动作,测试人员手动记录后果再预先剖析,如下图所示。

不难想象,AI 智能静止所运行的手机有着不同的品牌、型号、零碎版本和性能参数,AI 智能静止的用户可能处于不同的应用环境,若采纳传统的测试形式,对不同因素进行测试笼罩,对测试人员、测试工夫提出了很大的挑战,测试的一致性与精度也难以保障。具体起因如下:

  • 人工成本较高:一次测试需多名同学配合,耗时耗力。
  • 测试环境较繁多:无奈应答线上简单多样的环境。
  • 测试后果量化难。无奈对模型的精度、算法的效率、动动匹配准确度、精度晋升度、性能耗费等量化评估。
  • 问题定位难。预先剖析排查,无奈复现定位线上客诉问题。

传统的测试方法难以为继,为克服上述艰难,阿里体育技术团队开发了一套 AI 静止主动测试工具,专门用于解决 AI 智能我的项目测试难题,实现了线上问题的快捷定位与回归,并对模型算法精度实现量化评估。

主动测试工具的解决思路是:批量解析视频集,模仿实在场景,获取骨骼点数据,进行业务后果测试,主动生成测试报告。具体技术计划如下图所示:

采纳新的测试工具后,显著地升高了人工成本、进步了测试效率。具体测试成果如下:

须要留神的是,测试工具的成果与测试样本的数量相干,样本越丰盛,测试精度越好。

四 业务后果

阿里体育智能静止现已反对数十种静止动作,开发出丰盛的 AI 训练课程,同时通过静止能力的模块化组合,反对将来一直拓展新的动作。

自 AI 智能静止诞生以来,乐能源 APP 陆续上线了直臂开合跳、俯卧撑等上肢动作,臀桥、深蹲等下肢动作以及跳绳、开合跳等全身动作等多种静止模式,使得用户能够不受工夫和场地限度,随时随地和敌人一起参加到 AI 静止,晋升了 APP 的用户吸引力和趣味性。此外,AI 训练课程翻新引进明星资源,推动全年 52 周每周 7 天不间断的“明星陪练”课,以明星带动用户养成静止习惯、高兴静止、爱上静止。阿里体育团队也将一直地依据用户须要打造更多的静止玩法,丰盛产品性能,造成阿里体育端智能的独特业务品牌和翻新产品特色。

原文链接
本文为阿里云原创内容,未经容许不得转载。

正文完
 0