共计 1137 个字符,预计需要花费 3 分钟才能阅读完成。
近日,阿里云机器学习 PAI 团队公布一键端侧超分工具,可实现在设施和网络带宽不变的状况下,将挪动端视频分辨率晋升 1 倍,最高可加强至 1440p,将大幅晋升终端用户的观看体验,该技术目前已在优酷、夸克、UC 浏览器等多个 APP 中广泛应用。
观看以上视频不难发现,左侧画面和右侧画面的清晰度有极大差异。事实上,两侧画面的视频播放源完全相同,区别在于右侧画面应用了非凡的“一键超分”工具,从而实现清晰度从 540p 到 1080p 的富丽转身。
超分,即“超分辨率”,是指通过深度学习形式将低分辨率图片或视频的清晰度进步,取得更高分辨率,进而达到更好的观看体验和辨认准确率。通过非凡的卷积神经网络(CNN)对已知的高分辨率资源进行学习,即可实现对任意低分辨率图像和视频资源进行超分解决的模型。
在挪动互联网遍及并成为支流的明天,用户对“上网冲浪”的体验更加关注,更疾速、更高清也成为 APP 开发者们不懈的谋求。在“更高清”这个方向,纯软件化的优化计划——端侧超分进入开发者的视线:通过在手机、平板电脑等挪动设施上运行超分算法,补救设施硬件、网络带宽、原始素材等客观条件限度,进而取得高画质的图像和视频。然而,受制于端侧算力、设施兼容等问题,端侧超分计划规模化落地并不像设想中简略。
阿里云机器学习 PAI 团队近日公布搭载 PAI-AISR 模型的一键端侧超分工具,通过对模型进行量化剪枝等减速优化、以及对端侧多设施(CPU/GPU/NPU)进行异构计算和内存 I / O 优化等,具备以下劣势:
- 超高画质体验:在挪动端可将视频分辨率加强至最高 1440p,同时进行锯齿和底噪克制、色调加强等晋升,极大改善观看体验。
- 体积小,易适配:PAI-AISR 算法最低只须要 50KB,不占空间;功耗低至每小时 50-100ma。
- 低提早,高帧率:低至 20ms 以内的解决提早,以及高达 30 fps 的帧率,实用于直播、短视频、视频通话、实时监控等各种场景。
- 多平台多机型兼容:反对跨平台应用,在 iOS 零碎和安卓零碎环境下均无缝连贯,甚至在 IoT 设施(如摄像头、电视机、视频会议设施等)均可安稳反对。
- 数据格式兼容:反对所有支流图片和视频格式。
对挪动 APP 开发者来说,PAI 端侧一键超分工具次要具备以下两点价值。首先,应用端侧超分能够缩小数据下发过程中 CDN 的耗费,实现降本提效。其次,当客户端网络不稳固或者带宽受限(例如处于 3G 状态下,或者处于地铁、电梯等信号不稳固的环境中),导致视频播放卡登时,端侧超分技术能够让终端用户的浏览体验更顺滑。同时因为整个推理过程在端侧进行,防止了云端推理老本高、时缩短等问题的呈现。
目前,PAI 一键端侧超分计划曾经在优酷、夸克、UC 浏览器等多个挪动利用胜利落地,在一直晋升终端用户体验的同时,带来利用研发效率的晋升。