简介：过来一年，阿里体育技术团队在端智能方面一直摸索，特地在静止衰弱场景下实现了实际落地和业务赋能，这就是 AI 静止我的项目。AI 静止我的项目践行静止数字化的理念，为静止人口的上翻提供了重要撑持，迈出了阿里体育端智能静止畛域的第一步，为用户带来了更加乏味的新鲜玩法。上线以来，我的项目受到了宽泛关注。
作者 | 其声
起源 | 阿里技术公众号
一 背景
过来一年，阿里体育技术团队在端智能方面一直摸索，特地地，在静止衰弱场景下实现了实际落地和业务赋能，这就是 AI 静止我的项目。AI 静止我的项目践行静止数字化的理念，为静止人口的上翻提供了重要撑持，迈出了阿里体育端智能静止畛域的第一步，为用户带来了更加乏味的新鲜玩法。上线以来，我的项目受到了宽泛关注。
2020 年因新冠疫情，传统的线下静止受到限制，居家静止逐步成为新趋势。基于阿里巴巴弱小的技术积淀，阿里体育团队适应线上静止的迫切需要，开发出基于 AI 辨认的智能静止，为用户提供了简便、好玩的新型居家静止形式。只需一部手机和 3 - 4 平米的场地，就能够发展 AI 静止。静止时，用户关上乐能源 APP，将手机固定在场地一侧，适当设置手机角度，依据利用的主动语音提醒调整身材与手机间隔，直到人体齐全位于辨认框内，即可开始静止。
二 端智能实际
通过⼀年的摸索和欠缺，从验证 DEMO 到囊括多种动作、反对能力迁徙的 AI 静止智能平台，阿⾥体育建设了系统化的客户端静止智能体系。端智能静止体系基于阿里深度推理引擎在手机端进行推理，辨认⼈体姿势和动作，剖析人体姿势、静止轨迹、动作角度等，给出实时反馈并进行动作纠正，通过能力的模块化组合，现已反对十多种静止动作和数十种玩法，实现了静止与 AI 的有机整合，让用户的线上静止变得上手简略而又充斥趣味。
三 技术支持
端智能静止的根本技术思路是使用 MNN 推理引擎进行推理和姿势辨认。即
- 实时检测图像及视频中的人体轮廓，定位人体 14 个要害骨骼点，包含头、肩、脚等重点关节部位。
- 基于这些关键点信息，连点成线、连线造成动作，能够剖析人体姿势、动作角度和静止轨迹。
- 通过动作姿势匹配，检测用户静止动作，实现动作的计时与计数。同时，实时检测剖析动作标准化水平，给出状态反馈，纠正用户动作，实现互动，进步交互体验。
传统静止形式下，用户在静止时能够及时失去现场辅助人员（教练员、考官或亲友）的实时揭示和帮忙。端智能静止形式下，用户在做动作时只能与手机利用进行交互。交互的能力和辨认程度会受到推理模型能力、静止场景复杂度、静止匹配辨认算法等一系列因素的影响。在端智能静止能力的摸索和落地过程中，会遇到一些新的问题或者难题，如人机方位匹配、骨骼点辨认丢点、点误辨认、二维失真、用户挪动、手机晃动、场景噪声等。这些问题不一一赘述，仅选取几个有代表性的问题进行分享：
- 动作的有效性判断及要害算法设计，以进步动作匹配精度，这是智能静止能力的根底。
- 在保障辨认成果的前提下，采取有效措施，升高挪动终端的资源耗费，以晋升用户体验，次要体现是费电和发热。
- 采取更加灵便的形式，加重挪动端测试的人力和工夫耗费，进步开发和测试效率，为团队的交付保障提供无力撑持。
晋升辨认精度
智能静止带给用户的最直观、最根底的感触就是动作计数准确性。如果动作辨认计数不准，用户应用 APP 的积极性就会打消，参与性就不高。为此，咱们要首先解决计数准不准的问题。
智能静止计数的基本原理是，把一个残缺动作分解成若干个小步骤，而后对每个步骤触发辨认和判断，全副步骤遍历后，对整个动作进行有效性确认。如果无效，计数加 1；反之就反复上述过程。简言之，智能静止辨认与计数是一个状态机。将一个静止动作离散化，形象成 N 个状态机，{s(0),s(1),s(2),…,s(n-1)}，状态机依照肯定的程序顺次进行检测，全副检测到象征用户实现了该动作，对计数加 1；若某个状态未被检测到，触发对应反馈信息，重置状态机进入新的循环。每一个状态机对应着肯定的触发条件，通过实时骨骼点坐标与状态的循环匹配性检测，获取一个动作匹配后果。
不难看出，动作辨认精度与动作匹配算法严密相干，算法匹配成果好，辨认精度就越高。为进步动作辨认精度，能够选取影响匹配算法的因素作为切入点和突破口，骨骼点、状态机、匹配等。相应的解决办法为：
- 进步骨骼点稳定性，确保状态匹配后果精度。
- 抉择骨骼点稳固、易辨认、具备代表性的动作作为状态机。
- 帧率要可能笼罩一个动作的所有状态机。
上面将举例进行阐明。
骨骼点辨认准确度对动作匹配有着重要影响。如下图所示：测试对象左手臂骨骼点辨认呈现谬误。如果径直进行匹配，显然会失去谬误的后果。针对这种状况，该当利用好用户的历史动作信息，在动作匹配算法上对动作匹配进行纠正。
还有一种状况，用户曾经实现某种动作的全副动作，如下图中的开合跳，因为采样帧率低，无奈捕捉和辨认全副开合跳静止过程中的全副姿势，造成某个状态匹配不胜利，最终导致开合跳动作匹配谬误。对于低帧率问题，可从模型和输出源两个方面着手。对于模型来说，在不影响动作辨认精度状况下，采纳精简模型，缩小推理耗时。对不同的终端设备，采纳不同分辨率的输出源，升高原始数据处理操作耗时。
升高性能耗费
受物理条件影响，手机端算力和存储空间无限。此外，深度学习推理自身蕴含大量的运算，资源耗费大。如果间接在端上进行深度学习推理，再思考上手机端本身业务（如摄像头、录制视频、动画成果）的资源耗费，CPU 和内存开销就显著增长，直观体现是手机发热显著，电量耗费很快。智能静止在端智能上落地时，要特地思考升高性能耗费，这对于晋升用户体验来说至关重要。
升高整体性能耗费，要追根溯源，从升高单帧耗费处着手。单帧解决能够划分为三个阶段：别离是推理前、推理和推理后。
这三个阶段别离起着不同的作用。推理前阶段次要实现格局转换，将摄像头获取的流数据转换为推理须要的数据格式，如 YUV 格局、RGBA 格局。推理阶段次要实现计算输入骨骼点坐标。对输出的帧数据，通过推理引擎，执行一系列算法，输入推理后果，如姿势辨认是将输出图片的 RGBA 数据转换成骨骼点坐标数据。推理后阶段次要实现展现，进行渲染操作和业务相干操作，如 UI 展现、动画成果展现。
相应地，可对上述三个阶段别离进行优化。其中，推理过程中的优化由阿里深度推理引擎 MNN 负责，这里不作探讨。对于推理前阶段的数据转换，应缩小不必要的两头转换环节，间接将摄像头流数据转换成为须要的格局。如推理应用 RGBA 裸数据，就间接将摄像头流数据转换为 RGBA 格局。对于推理后阶段，应依据承载的平台抉择适合的渲染计划，升高渲染耗费。对于 iOS 平台，可间接采纳 Metal 进行渲染提效。
进步测试效率
AI 智能静止是阿里体育团队在体育数字化上的一次大胆尝试。在利用开发特地是测试环节中，投入相当的人力、设施及工夫，不断完善利用性能、优化利用性能、晋升用户体验。此外，AI 静止辨认的成果测试受环境因素的影响较大，如光线、背景、间隔、人物在摄像头中的成像大小等。这就对测试形式提出了考验。
以传统测试计划为例：个别是真人、实地、实时动作，测试人员手动记录后果再预先剖析，如下图所示。
不难想象，AI 智能静止所运行的手机有着不同的品牌、型号、零碎版本和性能参数，AI 智能静止的用户可能处于不同的应用环境，若采纳传统的测试形式，对不同因素进行测试笼罩，对测试人员、测试工夫提出了很大的挑战，测试的一致性与精度也难以保障。具体起因如下：
- 人工成本较高：一次测试需多名同学配合，耗时耗力。
- 测试环境较繁多：无奈应答线上简单多样的环境。
- 测试后果量化难。无奈对模型的精度、算法的效率、动动匹配准确度、精度晋升度、性能耗费等量化评估。
- 问题定位难。预先剖析排查，无奈复现定位线上客诉问题。
传统的测试方法难以为继，为克服上述艰难，阿里体育技术团队开发了一套 AI 静止主动测试工具，专门用于解决 AI 智能我的项目测试难题，实现了线上问题的快捷定位与回归，并对模型算法精度实现量化评估。
主动测试工具的解决思路是：批量解析视频集，模仿实在场景，获取骨骼点数据，进行业务后果测试，主动生成测试报告。具体技术计划如下图所示：
采纳新的测试工具后，显著地升高了人工成本、进步了测试效率。具体测试成果如下：
须要留神的是，测试工具的成果与测试样本的数量相干，样本越丰盛，测试精度越好。
四 业务后果
阿里体育智能静止现已反对数十种静止动作，开发出丰盛的 AI 训练课程，同时通过静止能力的模块化组合，反对将来一直拓展新的动作。
自 AI 智能静止诞生以来，乐能源 APP 陆续上线了直臂开合跳、俯卧撑等上肢动作，臀桥、深蹲等下肢动作以及跳绳、开合跳等全身动作等多种静止模式，使得用户能够不受工夫和场地限度，随时随地和敌人一起参加到 AI 静止，晋升了 APP 的用户吸引力和趣味性。此外，AI 训练课程翻新引进明星资源，推动全年 52 周每周 7 天不间断的“明星陪练”课，以明星带动用户养成静止习惯、高兴静止、爱上静止。阿里体育团队也将一直地依据用户须要打造更多的静止玩法，丰盛产品性能，造成阿里体育端智能的独特业务品牌和翻新产品特色。
原文链接
本文为阿里云原创内容，未经容许不得转载。