共计 1703 个字符,预计需要花费 5 分钟才能阅读完成。
北京冬奥会行将揭幕,全民健身热火朝天。2020 年冬季奥运会有 46 项体育项目,2022 年冬奥会有 15 项体育项目,丰盛的我的项目波及的姿态规范也各有区别。运动员如何迷信地进行体育锻炼、精确改正健身动作?教练员如何借助技术提供更智能化的训练和战术剖析?体育视频行业如何高效定位精彩片段,分享更多精彩静止霎时?“AI+ 体育”正在交出答卷。
目前,AI 在体育场景上的利用次要集中在动作类型的精确辨认及定位上,技术存在如下挑战:
1、体育运动行为复杂度高:体育项目类间方差小、类内方差大,隐蔽性高,以后针对人体动作辨认的解决方案在体育类数据集上难以见效。
2、长视频解决艰难:在简单动作难度根底上,如何从简短含大量背景信息未经解决的原视频中精确定位并辨认短时间内产生的人体动作,也备受业界关注。
PaddleVideo 开源了一套通用的体育类动作辨认计划,该计划不仅能精确辨认出动作的类型,而且能精确定位出该动作产生的起止工夫。这套计划曾经在线上业务中失去了充沛验证。PaddleVideo 目前已开源其中的足球运动辨认算法 FootballAction、篮球运动辨认算法 BasketballAction、乒乓球动作辨认算法和花样滑冰动作辨认算法,其中篮球和足球应用同一套框架。将动作辨认进去后,能够不便的实现上游工作,如:动作辨认剖析、智能评分、智能剪辑、赛事解析等。
我的项目链接:https://github.com/PaddlePadd…
PaddleVideo 所有源码及教程均已开源,欢送大家应用,Star 激励~
足球 / 篮球动作辨认
FootballAction 基于较量视频构建数据集,每一条视频时长约 40 分钟,共蕴含 8 个动作类别,别离为:背景、进球、角球、任意球、黄牌、红牌、换人、界外球。计划分为三个组成部分:特色抽取、时序提名生成、动作分类及后处理模块。模型的动作辨认准确率达到 94%,F1-score 达到 82%。
BasketballAction 整体解决方案与 FootballAction 相似,共蕴含 7 个动作类别,别离为:背景、进球 - 三分球、进球 - 两分球、进球 - 扣篮、罚球、跳球。准确率超过 90%,F1-score 达到 80.14%
乒乓球动作辨认与定位
以往为了向运动员提供针对性的技战术剖析数据,须要重复查看历史视频,统计分析每个球得失分的起因、每一板应用了什么技术,成功率又是多少。这是一项费时费力、十分辛苦的工作。为此,飞桨联结北京大学构建了基于 500G 以上的较量视频的规范训练数据集,标签涵盖发球、拉、摆短等 8 个大类动作。PaddleVideo 开源了包含 Video Swin Transformer 在内的乒乓球动作辨认模型和基于 BMN 的动作定位模型。
基于 Video Swin Transformer 的乒乓球动作辨认模型,目前动作辨认准确率达到了 74% 以上。
Video Swin Transformer 特点
基于百度自研的 BMN 在乒乓球挥拍动作定位模型上,比照支流动作定位数据集 SOTA 成果,ActivityNet1.3 – 67.10%,THUMOS14- 43.54%,目前 AUC 精度在验证集上可达 72.33%。
花样滑冰动作辨认
花样滑冰因其优雅的舞姿,备受年轻人青睐。但因为舞蹈动作的专业性,非专业选手很难判断运动员们具体的舞蹈动作类型。相较于其余竞技体育,花样滑冰的静止轨迹复杂性强、速度快、类别多,这对辨认工作来说是极大的挑战。
2021 年飞桨联结中国计算机学会(CCF)举办了第九届 CCF 大数据与计算智能大赛,其中花样滑冰动作辨认大赛吸引了 300 家高校与 200 家企业超过 3800 人参赛,冠军计划比基线计划精度晋升了 12 个点,较量 Top3 计划曾经开源。
咱们应用基于关节点的行为辨认对动作进行辨认。花样滑冰锦标赛数据集由业余人员对动作进行标注。对输出视频,首先将其帧率对立,而后应用姿势预计算法提取关节点数据,最初将关节点数据输出时空图卷积网络 ST-GCN 模型中进行动作分类,能够实现 30 种动作的分类。
算法性能强劲 利用案例丰盛
PaddleVideo 期待大家应用与反馈:https://github.com/PaddlePadd…