最近，各大视频平台实时更新着冬奥赛场上的精彩霎时集锦，谷爱凌、武大靖、苏翊鸣等静止健儿们勇闯佳绩，可喜可贺！在为中国体育的弱小实力打动、欣慰的同时，咱们也关注到了体育竞技背地的一些 AI 产业利用，比方通过动作辨认技术辅助运动员日常训练和较量打分，利用智能分类与自动化剪辑等 AI 技术大幅升高体育视频内容解决的人力和工夫老本等。
为了让大家深刻理解这些 AI 技术在产业中的利用，升高 AI 落地门槛，百度飞桨、百度智能云、大连理工大学刘胜蓝副教授联合推出产业实际范例，在 花样滑冰动作辨认、多模态体育视频分类、足球视频精彩片段剪辑 三个经典场景，提供了从数据筹备，方案设计，模型优化部署的全流程教程，深入浅出详解产业落地计划，手把手教用户进行代码实际。
⭐我的项目链接⭐https://github.com/PaddlePaddle/awesome-DeepLearning 所有源码及教程均已开源，欢送大家应用，star 激励~
深度学习技术赋能体育赛事的
三大典型范例
1、花样滑冰动作辨认
花样滑冰的静止轨迹复杂性强、速度快、类别多，这对辨认工作来说是极大的挑战。本范例首次将基于人体骨架关键点的人类动作辨认算法 ST-GCN（时空图卷积网络模型），使用于花样滑冰动作辨认，能够 实时地辨认视频中花样滑冰运动员的技术动作并增加标注予以分类，在较量和训练过程中做辅助打分以及动作品质评估。
场景难点
- 花样滑冰静止很难通过一帧或几帧图像中的人物姿势去判断动作类别；
- 花样滑冰雷同大类、不同小类的两个动作类别仅存于某几帧的轻微差别，判断难度极高。然而，其余帧的特色也必须保留，以便用于大类辨认以及“多义帧”解决等状况。
如花样滑冰动作有跳跃、旋转、托举、步调及转体、燕式步，其中跳跃是最重要的动作因素之一，选手起跳与落冰所用冰刃形式与地面旋转周数分为多种，因而能够产生多种组合，这就减少了分类的难度。为了解决以上问题，技术计划选型的思考是什么呢？本范例通过抉择 ST-GCN，并在已公布的论文根底上改良了网络结构，为解决基于人体骨架关键点的人类动作辨认问题提供了新鲜的思路，也获得了较大的性能晋升。下图为本我的项目中构建的 ST-GCN 网络结构图。
最终通过批改 batch_size、num_classes 参数，能够达到 91% 的精度。
2、多模态体育视频分类
近日，各类冰雪静止视频受到人们的宽泛关注。为了提炼出用户实在的趣味点和高层次语义信息，企业须要对视频所带文本、音频、图像多模态数据多角度了解。飞桨联结百度云带来多模态分类工作，给视频打多个形容内容的标签，用于内容圈选、投放等多个举荐零碎场景，堪称是娱乐媒体工作者的福音。
场景难点
- 视频标签具备高层语义特点，单模态特色难以表白，高质量视频分类数据无限，对应的图像、音频、文本高语义特征提取艰难；
- 不同模态之间存在语义鸿沟，模态之间交互存在挑战，不同模态可能存在相互烦扰状况；
- 视频主题混淆以及长视频解决艰难问题，单模态可能存在较大噪声和缺失状况，对模型的鲁棒性有较高要求。
基于以上难点，实际范例交融文本、视频图像、音频三种模态进行视频多模特色抽取，再进行特色交融，最初进行多标签分类，相比纯视频图像特色，显著晋升高层语义标签成果。
本次范例总结了多种优化教训，基于融入实体信息的弱小预训练 ERNIE，晋升文本表征能力，固定住 ERNIE 的参数，后置 TextCNN 网络学习畛域内常识，减速模型训练，多模态 cross attention 晋升不同模态的交互能力，最终达到 85.59% 的模型精度。
3、足球视频精彩片段剪辑
体育比赛集锦类视频须要疾速高质量的自动化剪辑工具对视频疾速解决。业余体育训练须要大数据撑持，通过较量或日常训练视频回放相熟本人和对手，进行战术演练，媒体行业也须要工具提取须要的视频内容，产出高时效性的新闻素材。
场景难点
- 动作检测工作复杂度高：视频精彩片段剪辑工作的实现要点在于精确找到该类动作产生的起止点。但体育类视频内常常蕴含大量冗余的背景信息，动作类别多样且继续时长绝对较短，要精准的判断出动作的起始点和对应类别，工作难度高；
- 视频中的信息具备多样性，如何无效利用这些特色信息。
为解决以上问题，咱们最终选取 TSN+BMN+LSTM 作为根底模型计划，保障片段提取的准确度。优化策略包含应用用于提取视频图像特色的飞桨特色模型 PP-TSM、TSN 和 TSM，数据裁减和扩大时序行为 proposal。最终准确率达到 91%，F1-score 达到 76.2%。
产业实际范例教程
助力企业逾越 AI 落地鸿沟
飞桨产业实际范例，致力于减速 AI 在产业落地的后退门路，缩小实践技术与产业利用的差距。范例来源于产业实在业务场景，通过残缺的代码实现，提供从数据筹备到模型部署的计划过程解析，堪称产业落地的“主动导航”。
实在产业场景： 与理论具备 AI 利用的企业单干共建，选取企业高频需要的 AI 利用场景如智慧城市 - 安全帽检测、智能制作 - 表计读数等；残缺代码实现： 提供可一键运行的代码，在“AI Studio 一站式开发平台”上应用收费算力一键 Notebook 运行；具体过程解析： 深度解析从数据筹备和解决、模型抉择、模型优化和部署的 AI 落地全流程，共享可复用的模型调参和优化教训；中转我的项目落地： 百度高工手把手教用户进行全流程代码实际，轻松中转我的项目 POC 阶段。
精彩课程预报
以上体育赛事的三大场景均已建设为产业实际范例供大家疾速上手体验和利用，除此之外，咱们也筹备了相应的课程解说。 2 月 17 日 20:00-21:30，大连理工大学刘传授和百度高级工程师将深度解析从数据筹备、方案设计到模型优化部署的开发全流程，手把手教大家进行代码实际。
欢送小伙伴们扫码进群，收费获取直播课和回放视频链接，更有机会取得笼罩智慧城市、工业制作、金融、互联网等行业的飞桨产业实际范例手册！ 也欢送感兴趣的企业和开发者与咱们分割，交换技术探讨单干。