关于技术:有声聚一堂-RTE-2021-编程挑战赛圆满收官

37次阅读

共计 2863 个字符,预计需要花费 8 分钟才能阅读完成。

6 月 12 日,由声网 Agora 与环信联结主办的 “RTE 2021 编程挑战赛” 圆满闭幕。从 200+ 支参赛队伍中冲出重围的 46 支决赛队伍用精彩的问难为历时 2 个多月的大赛划下了圆满的句号。

往年的“RTE 2021 翻新编程挑战赛”共分为 2 个赛道:利用翻新赛道 连续了「应用声网 Agora SDK 开发利用」的赛题;技术创新赛道 开发者能够「利用声网云市场插件接口,开发自研插件与性能演示 Demo」。

只管此次的赛制与赛题对参赛队伍提出了更高的要求,但同时也为大家提供了独有的技术创新空间。相较去年而言,两个赛道的报名队伍及提交作品简直都是去年的两倍

本次大赛的决赛和颁奖都是通过 Agora Video Call App 在线上进行的,全程通过 B 站进行了直播。最终,决赛共诞生了利用翻新赛道的一、二、三等奖团队各一名,“环信专项奖”一名,以及“优秀奖”六名;技术创新赛道“技术创新专项奖”一名,“优秀奖”一名。

利用翻新赛道

一等奖:Agora Home AI

随着智能设施性能晋升和网络的疾速倒退,以音视频为根底的智能硬件也正在蓬勃发展中。跨品牌、跨产品的设施治理也成为萦绕在用户日常应用中绕不开的一个话题。

「Agora Home AI」零碎以智能家居为主题,应用云信令 SDK 实现了 IoT 设施近程管制。同时,通过声网 Agora RTC SDK 实现人与机器的 1V1 视频,将机器人端采集到的视频发送至 PC 控制中心,进行 AI 智能检测,触发事件响应。

零碎采纳开源了 Yolo V3 算法进行各种视频数据的解决,反对 C#、C++ 调用;Unity 3D、VS 系列开发。目前已反对 Yolo 根底 80 种物体辨认、安全帽辨认、冰球辨认文件等。采纳声网提供的云信令 SDK 进行近程设施管制,构建群组房间进行音讯实时通信,反对通过自定义协定进行智能硬件的管制。

「Agora Home AI」能够帮忙用户实现可穿戴设施、智能家具设施、视频监控设施接入何管制。包含智能灯光、智能门窗、智能门锁、智能安防、智能手环监测、智能家电管制等配套产品,让用户实现多种品牌的智能设施在对立的交互平台内互联互通、对立治理、智能联动。为给用户发明更舒服、更平安、更节能的家居生活环境。

二等奖:Agora FIow

取得第二名的作品「Agora Flow」是一个基于声网 + 环信 SDK 搭建的 音视频 Low Code Web 共享编辑器

作品的灵感来源于在应用声网 Agora SDK 的过程中,创作者始终在思考对于音视频服务除了以 SDK 的模式啦哎提供服务和为开发者赋能外,还有没有别的模式呢?Low Code 就是这样一个可能的解决方案。将音视频相干性能进行模块化集成,提供一个图形化界面,让开发者能够用做 PPT 的模式来实现想要实现的性能。

作品通过声网的音视频传输及云信令 SDK 产品,提供了基于 Web 的集成了 RTC Chat SDK 的模版工程,通过 CodeGen 来生成配置项。实现了在线流程图编辑器 Low Code 我的项目的主动生成。作品中的所有的操作简直都能够通过拖拽来实现

有开发者开玩笑说,这次的大赛作品很多都是开发了一个 App,而「Agora Flow」则是做了一个帮忙开发者能更好开发 App 的我的项目。

三等奖:都市探险家

「都市探险家」我的项目是一款利用地图 LBS + 云信令 SDK + 实时音视频构建的社交产品。这款产品为想要寻找共同爱好的新敌人并一起在都市进行游览、摸索的小伙伴而设计。

产品的应用非常简略便捷,用户注册登录后,通过 LBS 地图会自动更新用户所在位置,只有点击“发动工作”并抉择“探险”人数,用户就能够与小伙伴进行一次全新的都市探险啦。

对于 RTE 场景而言,产品中实现了多人语聊房场景。并且,通过云信令 SDK 的应用联合了理论的业务场景,对于当下的语聊房场景进行了拓展。 产品将来也会接入视频聊天的性能,让没有方法即时出行的小伙伴也能独特参加到城市的探险当中。

环信专项奖:忘忧馆

「忘忧馆」是一个很有温度的作品,心愿能够帮忙古代生存中的人们通过彼此倾诉忘掉懊恼、解除发愁,流传正能量。

这是一款陌生人社交 App,蕴含信息流。联合了几种最常见的社交产品状态,包含文字聊天,通话等等。让一些不不便与亲人和敌人诉说的懊恼,能够在和陌生人交换时找到共鸣与刺激。

优秀奖:Vchat

「Vchat」利用人脸骨骼辨认和云信令 SDK 实现了虚构 3D 角色的实时通话。应用 tensorflow.js 的 WebGL 引擎作为后端,应用现有开源的人脸识别模型通过摄像头辨认人脸的地位以及五官的状态。再通过 Three.js 和 Vrm.js 将人脸数据实时更新到虚构的 3D 模型上。

在视频局部,通过实时音讯 RTM SDK 将人脸骨骼数据实时传输到频道中让其余用户订阅还原人脸。而语音局部则是通过 RTC SDK 将声音进行实时传输并让用户进行订阅。可实现同步换脸、变声聊天等性能。

除了上述的「Vchat」以外,还有 「灵动课堂答题组件」、「Agora X-Runtime」、「Weln」、「欢信(bla-bla.app)」、「智能 AR 毛笔临摹教学系统 /CopyTeachWorks」 作品取得了此次大赛“利用翻新赛道”的 优秀奖。对于这些优良的作品可能没有方法在这里跟大家一一出现,感兴趣的小伙伴能够返回咱们的 Github 仓库进行查看:

https://github.com/AgoraIO-Co…

技术创新赛道

技术创新专项奖:人脸识别

「技术创新专项奖」是为“技术创新赛道”专门设置的一个奖项。获奖作品是一个在 iOS 平台上应用应用 AgoraEngineKit2 开发接入一个基于 C++ 语言封装的「人脸识别」插件。

作品通过 TYSMExtensionManger 类与对外交互,对内则解决插件实现的相干逻辑。将 IExtensionProvider、IVideoFilter 和本人的开发的 Processer 都放在同一个中央。用 framework 形式对外公开两个文件,既不便开发者查阅,同时也可作为作为参数传递,加强代码可浏览性

该插件能够反对人脸检测、追踪、以及多脸的追踪辨认,对脸部轮廓、眼睛、眉毛、鼻子、嘴巴等辨认到的区域以 3D 点状作出反馈。

优秀奖:Water Mask

「Water Mask」我的项目是“技术赛道”中的参赛作品,通过在声网 SDK 的视频采集或者播放环节,在 YUV 域上或者编码后增加图片或文字类型的隐性水印。

隐性水印 (盲水印) 增加后,用户不能间接看到视频中的水印信息。在爱护视频发布者版权的同时,也保障了用户的视频观看体验。将来,「Water Mask」还心愿在音频解决上,能够扩大声纹水印,在 视频版权追溯、认证防伪等场景为行业带来更多、更好的体验


以上就是本届「RTE 2021 编程挑战赛」的局部获奖作品及团队状况。对于本次挑战赛的更多作品状况将开源在 Github,感兴趣的小伙伴可返回进行查看:

https://github.com/AgoraIO-Co…

获奖团队除了会失去本季度大赛奖金,还能够申请进入声网 Agora 招聘绿色通道,以及在一年内享受守业反对打算的福利,具体可点击此处 【官网】 进行查看。

正文完
 0