多媒体

0.根底环境类别：笔记本型号：中国长城 UF712硬件平台：飞腾处理器（ArmV8 指令集）零碎：河汉麒麟操作系统 V10 SP1(2203) 关键词：信创,麒麟零碎,linux,PKS,河汉麒麟,飞腾,arm64,arm,爱剪辑,剪映,adobe premiere,davinci resolve 1. 需要背景在windows下，咱们能够利用adobe premier进行，也能够利用一些傻瓜式极简的制作形式，如出名的爱剪辑、剪映等。此外还有许许多的解决方案，本文试图为有多媒体视频剪辑的敌人在麒麟零碎、飞腾处理器上进行视频剪辑提供一些参考计划，所有举荐或者操作过程作者都有肯定体验，但无奈做到偏心公正，可能存在肯定主观想法，各位读者参考应用。 2.次要工具2.1 davinci resolve(首选举荐)adobe premiere商业版代替https://www.blackmagicdesign....//todo 下载有点大3GB，还没有来得及确认是否能够在arm上运行我填入相干考察信息后，失去的下载链接：https://sw.blackmagicdesign.c... 2.2 losslesscutgithub.com/mifi/lossless-cutLosslessCut (无损切割) 是一个开源完全免费的无损视频或音频的剪切/裁剪/宰割/截取和视频合并工具，跨平台反对 Windows、Mac 和 Linux，提供多国语言含简体中文界面，操作简略功能丰富而且软件绿色！它最大的特点有两个——裁剪速度逆天、视频画质无损！下载地址：https://github.com/mifi/lossl...，找到arm64 linux的版本下载。解压后运行运行成果 关上两个视频进行拼接 3.开源收费支流3.1 openshot （不稳固，不举荐）通过利用市场装置也能够通过命令行 sudo apt-get install openshot -y 装置装置胜利后，开始运行，而后呈现谬误（不稳固，不举荐） 3.2 shotcut (可用)通过利用市场装置胜利启动后应用示例 3.3 blender（不举荐）间接通过利用市场装置自身定位于3d模型设计，而且关上时中文目录是乱码 4.安卓APP4.1剪映(举荐)剪映很好用，但PC只有windows和macos的版本。可自行下载剪映最新apk,我用的是这个版本，下载地址https://4fd63d406c2f3eb340c9b... 4.2爱剪辑爱剪辑PC只有Windows版本，所以只能找挪动利用，可自行下载最新爱剪辑安卓版，我用的这个https://dl002.liqucn.com/uplo... 4.3 vn video editor解决起来有点慢，然而还能用。 5.在线工具在线的工具自己没有试用，列在这里大家有机会能够自行尝试 5.1 clideohttps://clideo.com/cut-video 5.2 flexcliphttps://www.flexclip.com/tool... 5.3 flixierhttps://flixier.com/tools/vid... 5.4 apowersoft 国内https://www.apowersoft.cn/onl... 5.5 剪映网页版 国内 （举荐）https://www.capcut.cn/editor留神：须要应用chromium浏览器（在firefox中关上会提醒要用谷歌浏览器） 6.写在最初目前，在麒麟零碎与飞腾平台要想找到在windows下的体验，绝对艰难。本文通过下载试用，一直检索材料，给出以下倡议。1.PC上商业代替adobe premier 能够尝试应用dnvinci resolve studio(有免费与收费，大家自行想方法罗）2.开源收费中的所有系列中，举荐尝试shotcut3.如果开源收费达不到大家的要求，倡议大家应用安卓版的剪映，个别状况下可能解决大家的日常应用。 麒麟零碎专栏：https://segmentfault.com/blog...文章发表在SegmentFault分割邮箱：[email protected]群：662512340 文章中相干材料均可通过群文件获取或向群主申请帮助发行日志：20221028 首发

摘要：影视动画、特效制作等行业渲染需求量增多，4K/6K以及各高分辨率会陆续成为支流，本地算力与存储资源已无奈满足现有任务量。而随着大环境的演变，CG行业倒退已进入倒退快车道。来自赞奇科技的CEO金伟为大家分享对于CG行业在云端制作和渲染是如何推动服务的。本文分享自华为云社区《TOP级CG行业云渲染服务的演进之路》，原文作者：音视频大管家 。 影视动画、特效制作等行业渲染需求量增多，4K/6K以及各高分辨率会陆续成为支流，本地算力与存储资源已无奈满足现有任务量。而随着大环境的演变，CG行业倒退已进入倒退快车道。来自赞奇科技的CEO金伟为大家分享对于CG行业在云端制作和渲染是如何推动服务的。 01 赞奇科技 大家可能对赞奇科技比拟生疏，赞奇科技成立于2010年，总部在江苏常州，在北上广武汉等地都有分公司。目前全国用户超过36万，大部分为企业用户，其中也有局部个人用户，他们抉择赞奇产品进行云上制作、渲染、传输。咱们的使命是“打造视觉行业生态圈，让云计算为创作带来有限可能”，以“云渲染工具”为载体，为多个行业提供云端渲染的整体解决方案与服务。 赞奇旗下产品之一“渲云”，是应用私有云进行渲染和生产的SaaS。 整个赞奇科技的产品分为：效果图建筑设计类、影视动画类、呆猫云桌面以及CGMAGIC插件。其中呆猫还在打磨，预计在往年下半年和行业内用户见面，之前听到老师说云上高配设施能够做一些更好的制作和生产，而呆猫是一款全副基于GPU打造的云桌面，采纳的是英伟达的RTX系列，配置上会比2080、3080更高。用比拟弹性和随性的形式，给各位创作者和适用人群提供便当服务。 咱们这四款产品所针对的场景和行业大略如上图所示。目前全场景的单干曾经提供了解决方案，在赞奇本人的网站或者是华为云市场都能买到。同时也在踊跃和华为单干推动严选市场的自营，在华为自有的产品体系里，也能购买到赞奇的全线产品。 以上是赞奇科技的资质与荣誉，咱们是华为云策略合作伙伴，同时也是英伟达的外围partner，产品从PaaS到SaaS都是自研的。 简略来说，赞奇科技是一家集PaaS和SaaS为一体的互联网企业，深耕于垂直行业，服务于CG行业。 上图是一张流程图，产品通过赞奇PaaS层治理调度，和SaaS层的端口，最初走入到云计算私有云可用序的平台。用一句话详情就是，所有的用户通过咱们的产品，第一工夫享受到私有云带来的算力与便捷以及各项解决方案和服务。这个和传统去上云，或者本地发一套公有环境还是会有很大的区别。大家都晓得，随着算力需要越来越大，咱们做视频、CG行业的接入，对解决方案要求越来越高，很多本地是不能满足需要的，这时私有云就是最好的解决方案。赞奇从客户端到私有云最初一公里的SaaS服务，很便捷很不便。 那为什么会抉择基于私有云呢？其实赞奇最早是应用公有云，购买了3000台服务器后，最初发现还是有问题。首先，不论你买多少服务器，也无奈无效的保障各类用户的各类需要。而当咱们把环境全副迁徙到私有云，运维变轻了，而且接我的项目的能力更弹性了，同时技术能力也失去了很多来自私有云上的赋能和反对，这是之前应用公有云所达不到的。总结一下，私有云的应用使的算力和平安是晋升最高的，尤其是以后和华为单干以及一些云的单干，这块根本能够满足国内大多数用户的需要。目前腾讯、阿里很多都是咱们的用户，像王者光荣、战争精英工作室的CG动画内容全部都是购买渲云的产品。存储、网络、运维、老本、治理、时效这些都是咱们用下来之后发现，整个渲染环境流程上最好的形式，是通过私有云的底层实现输入和解决。 赞奇也还在踊跃推动整个CG行业进入私有云生态圈入口而致力。咱们针对这几块，最底层就是咱们的私有云，两头这块PaaS层是咱们自研的，名字叫天蝎架构，别离提供上图所示的这些组件。而SaaS层这块是在算力、协同、软件、渲染、插件再到网盘以及流程管理软件。针对咱们设计师中的各种人群提供SaaS圈入口。这些局部其实都能够很疾速地通过SaaS应用到赞奇的各类产品，同时更快地着陆到最低层laas层，用上laas层的算力和存储，进行日常工作应用。这套全部都是构建在私有云上的，公司搁置的大略不超过十台服务器。赞奇目前本人的研发团队将近60位员工，服务器也安排在云上，用云上的环境来进行测试和编写。 02 渲云平台 赞奇在渲染这块是渲云这个平台，咱们为整个行业提供了稳固的PaaS服务，便捷的SaaS服务，以及各项人工在内的全方位服务。目前渲云这个品牌反对整个CG行业基本上罕用的各项软件，本人做了超过1500种插件，可能便捷疾速的提供给艺术家、设计师上云应用，并且性价比很高。咱们的产品在去年第一次走出了国门，与华为单干，在新加坡构建了海内农场，正式为东南亚以及局部欧洲客户提供服务。目前失去的反馈很好，说咱们中国人的产品质量牢靠，性价比比拟好，这都是得益于私有云对国产SaaS的反对帮忙。 渲云也是始终在应用Intel至强可扩大处理器，基本上在这块还是当先度蛮高的。如果咱们是公有云的环境，就很难用到最新的Intel技术，而在渲染这个场景中，芯片的组成技术是间接影响到性能和性价比。咱们也很荣幸始终和Intel保持良好的单干，并和华为云一起，在内存、单干、I/O性能以及平安方面目前都做到了业内最好。比方咱们有些场景做特种影片，咱们能提供单台外围CPU在200核以上的机器，内存达到1TB。这在目前环境中是很少见，也补救了咱们行业内的空缺，这只有私有云能提供的一些设施。 目前渲云为中国超过10万家的建筑设计行业提供一些渲染服务，包含修建动画、室内家装、园林景观等等。 以上是作为电影和动画我的项目，咱们每年有超过几十部电影、连续剧和动画是通过渲云的产品，带给千家万户的消费者。包含往年的贺岁档，一共7部贺岁影片，有3部抉择了渲云产品。 03 洞悉渲染行业 以渲染行业的倒退现状来讲，从整个数字内容来看，包含数字化降级涵盖比拟多的其实是数字资产越来越大，渲染需求量越来越大，不论是预渲染还是实时渲染，现状从2K、3K到4K、6K，最近咱们接到很多我的项目还有8K到16K的。这种咱们要进行高分辨率的作品，曾经陆陆续续变多。本地的算力、硬件和软件很难达到时效性的满足和保障，包含渲染我的项目大多没有规范，因为技术人员的程度不同，甲方的要求不同，咱们的产品根本是千人千面的。除了在一些学校、培训班外面，可能做得比拟规范，走上社会当前，咱们的非标场景会十分多。 将来随着大环境的倒退和扭转，咱们预测整个CG行业还会越来越好。包含中国市场的文化产业也会越来越大，行业内的分工也会更加明确，像咱们这样的SaaS厂商专门垂直提供一块服务的也会越来越多。包含将来对软硬件、存储、传输资源的要求也会更高。 在疫情期间也体现了多人在多地协同办公的场景增多，对于咱们行业的影响也是比拟大的。比方有些公司有分层，失常员工们都在办公司内一起办公，但忽然发现不能去办公室下班了，所有的工作都停了，尽管电话和邮件是通的，然而拿不到同一个数据和资产，等于所有的我的项目都停了。这也对咱们这个行业提出了新的要求，咱们也会陆续提出新的产品，来解决多人多地协同办公的问题。 还有定制化场景需要的增多，比方咱们的客户阿里，对本人的场景都要定制化的需要，所以咱们要匹配阿里的流程和工作上的要求。不论是互联网企业还是游戏企业或者是视频类的企业，都会有这方面的需要。这将是将来一个趋势，赞奇的产品也会良好地服务和构建的。 在电影方面，咱们看《阿凡达》，按一帧2小时来算，一台服务器须要工作300多年能力实现渲染工作。假如它的机器算力再大，工夫再怎么压缩，其实它的工夫还是会比拟久。再看前两年的一部电影《阿丽塔》，据我理解，这部电影光渲染费，就超过了1亿人民币，最终渲染是在新西兰实现的。这个公司在当地本人布建了一套渲染农场，当把电影做完后，当地的气象部门做了检测，在渲染期间整个镇上的温度，比今年的温度高了2度，就是服务器排放的热量。当初来看这种特效大片，如果不必到云的话，国内根本是做不进去，尽管有这样的技术，但这样的性价比和时长是无奈承受的，观众也等不了。 在将来，包含当初渲云在做的，咱们提供大的超高性能的存储，首先传输不存在问题，上万台服务器并发，满足客户定制化的需要。咱们当初常常会遇到的场景是客户提出“能不能用一千台服务器，30分钟实现”，而咱们能够做到10分钟调2000台服务器实现。这就是中国目前的云市场，咱们有这样的能力，随时且性价比适合的提供给顾客。 做电影的呢，动则就是3000到5000台服务器的并发，大多CPU都是32或是64，内存都是128或者更大，间接就开跑，存储总的来说都是50到100TB起，咱们都能够满足，同时咱们能够反对至多10部电影的并发。得益于这些，其实并不是咱们有多好的产品，而是咱们的国家处在这样一个好的时代，咱们国家有这么好的基建，有这么多好的云厂商，提供给咱们这么好的服务。所以我感觉能有这么多强力撑持，也是咱们这代从业者的运气。如果往前推5年，推10年都是不可设想的，以前都是在小作坊去做的，程度和效率都很低。 04 将来倒退打算 将来咱们谋求的规范还是全方位TD的反对和服务，除渲染以外的技术，咱们都是附赠的。那目前咱们也是承接很多海内的我的项目，其实咱们国内影视CG行业的能力并不差，《哈利波特7》、《变形金刚5》有一部分就是在中国做的。最开始好莱坞大片是不会来到好莱坞的，但逐步他们置信了中国人的程度和能力，所以越来越多的好莱坞影片的顶级制作，都是交给中国工作室实现的。包含这几年中国的游戏也曾经走向了世界，原创作者都是咱们中国的公司，这块咱们都会做到。在算力与存储方面，咱们也会继续保障，接下来的一些协同和传输，也是咱们和私有云的一些劣势。 再简略讲讲咱们还没有上市的产品，名字比拟好记叫呆猫，英文就是Demo，能够帮忙咱们用户随时随地打样。为什么说它是最具应用型的桌面云解决方案呢？因为它是业内首款百分之百基于GPU的，它每一个桌面云后端都是GPU，只能说是单卡还是二分之一卡。二分之一卡的性能大略等于2060，可能还高一点，而且显存特地大，单卡为24兆。利用场景别离是云上设计、协同办公、资产共享等等，同时这个云桌面也是和华为、英伟达联手，失去了英伟达的受权。 如果咱们群体的搭档有异地协同办公、云存储、软件应用以及一键部署的需要，全副都能够来用。目前软件还没有上市，但一部分的顾客在用了，比如说咱们在影视行业的合成畛域。有些特种影片的合成须要弱小的算力和资源，目前在北京、深圳比拟大的特种影片生产厂商曾经在应用呆猫了。只是咱们目前部署能力无限，还在陆续推动，预计在往年的Q3会正式商用，感兴趣的能够下载试用一下。这个产品也不贵，咱们以前买一台超算工作站须要好几万，大的要几十万，这个云桌面的呈现就变成弹性了，按小时来免费，用的时候就开机，不必的时候就开释掉，这就是云桌面带来的将来的一个场景。 这也是将来整个设计全流程买通的一个方向，包含XDEMOER、XTRACK、XRENDER等等。 14 当初有越来越多大型数据的生产和制作都抉择购买SaaS软件，用云的底层来实现全流程，这陆续成为趋势。其实晚期咱们推起来还是比拟难的，对于私有云是不太信赖的，但这些年咱们走过去，咱们认为将来私有云会成为主。 点击关注，第一工夫理解华为云陈腐技术~

从技能的差异而辨别进去的畛域，都有本人的数据结构与流程。想要精通一个业余畛域，意味着须要了解透它的构造与流程（但有很多了解是能够平移的），然而，这不意味着从概念动手就是最好的方法。找一个切入点，在某个业余畛域实现某个性能，而后在失当的时候再做零碎的概念的了解，这种方法，才是一个好的学习方法。最重要的一点，这是一个乏味的过程。也就是要以问题来驱动学习，如果能做到寓学于教，那就最好了。 多媒体的常识与技能繁多，入门容易而深刻较难。 “媒体”，就是声音、图像、文字这些元素，多个元素合在一起就叫“多媒体”，当这些元素以流协定传输时就叫“流媒体”。 在数字世界，听到的，看到的货色，都是多媒体，而提到多媒体，最容易想到的性能就是播放，小程就从“播放”性能动手，先把这个性能实现，尽量少管概念上的事件。 FFmpeg，这个程序集，在多媒体的技能中常常应用到，这里就应用这个程序集来实现播放性能。 本文介绍如何用FFmpeg来实现播放。 FFmpeg程序集外面，有一个程序叫ffplay（播放器），它提供了播放的性能。 （1）ffplay的装置我应用的是mac电脑，在mac上装置ffplay的方法很简略： brew install ffmpeg --with-sdl2 --with-rtmpdump留神，如果发现这个install命令不再反对with-sdl2或rtmpdump，那就自行装置，即调整为： brew install sdl2brew install rtmpdumpbrew install ffmpeg装置胜利之后，就能够把ffplay运行一下，以命令行的形式来运行：因为我在零碎上装置了一个ffplay，而后用FFmpeg的源码又编译了一个ffplay，所以有两个不同的版本。 （2）播放在装置了ffplay播放器的状况下，播放就是举手之劳的事。 比方： ffplay "http://ivi.bupt.edu.cn/hls/cctv1hd.m3u8"ffplay ~/Desktop/1.mp4ffplay能够播放网络上的音视频文件，也能够播放本地的文件。只有有门路（或url），就能够用ffplay来播放。 那除了本地的资源，还能找到一些乏味的url来播放吗？ 个别能够在网上搜寻，或者把地址抓进去。 比方在pc网页上进到“酷狗直播”，关上一个直播间，而后用Charles抓包（或其它工具），能够看到这样的地址： 换一个直播间（这个是点播的）： 再比方，虎牙的一个直播的地址是这样的： 或者，在网上搜寻一些可用的地址，比方（有可能过期，发稿时可用）： CCTV1高清：http://ivi.bupt.edu.cn/hls/cc... CCTV3高清：http://ivi.bupt.edu.cn/hls/cc... CCTV5+高清：http://ivi.bupt.edu.cn/hls/cc... CCTV6高清：http://ivi.bupt.edu.cn/hls/cc...再看一下用ffplay播放时的成果： 电视台： 直播间： 在用ffplay播放时，有一些快捷键能够应用，比方： q --退出p/空格 --暂停w --切换封面、波形与能量图f --全屏s --逐帧显示左右方向、高低方向 --向后或向前快进好了，总结一下，文章介绍FFmpeg中的ffplay的应用，欢快地实现了播放的性能，根本没有波及到简单的概念。see you.

导语 | 2019年9月7日，腾讯技术开放日·5G多媒体专场在腾讯滨海大厦完美落幕。来自腾讯多媒体实验室的专家们给大家带来了关于5G技术和标准的精彩分享，揭开了许多关于5G的谜团。本文重点给大家讲解5G时代下多媒体标准、多媒体压缩前沿技术的标准化，以及面向未来的多媒体系统架构。 赵帅博士，腾讯5G&多媒体标准专家。赵帅博士2019年初加入腾讯美国公司，担任腾讯5G和多媒体标准专家。赵博士获得美国密苏里大学堪萨斯分校的研究生和博士学位，专注于计算机网络和多媒体系统标准于传输领域，在数多国际期刊都有文章发表，IETF RTP VVC负载格式编辑。 5G下，多媒体为什么要做标准化在5G下，多媒体产业链全景图跟4G LTE包括以太网差不多。现在社会上有很多一些错误的宣传认识，大家认为有了5G后可以无限制地在网上畅游。但其实，网上畅游的体验，很多时候完全取决于5G运营商给老百姓提供的真实网络实现。多媒体产业链，基本是从有视频源开始，有了视频源后就有了视频压缩的技术和算法，有算法之后需要标准化。 多媒体的标准化包含两大块：多媒体压缩技术标准化（后文会重点讲）、多媒体系统传输标准化（包括3GPP和IETF的网络传输协议）。有了标准定义后，直接有标准的产出，面向消费者或者网络运营商。 为什么要做标准？有以下四点原因： 一是互联互通。保证各个厂商在指定多媒体5G标准下，各个设备之间可以互联互通。这是做标准最基本的原理。 二是防止垄断。因为这样各个公司可以相互参加，每一个公司都会把自己的技术放在里面，保证技术的共享。 三是保证技术的先进性。比如参加5G国际标准制定时，不但可以把自己的技术贡献出去，更重要的是可以学习别人的技术，保证了我们技术的先进性。 四是做标准有两个重要的作用：一是知识产权，实现商业化。有专利后把专利应用在产品上，任何人要买这个产品时就要付专利费。比如现在任何手机制造商产一个手机时都要给高通付钱，这是专利产品的价值。另外是防御性，很多专利产生时目的并不是为了产生商业价值，而是保护自己。作为腾讯，很多专利的制定并不是非得用这个专利卖钱，很多时候是保护措施。我们有这样的专利，别的公司就不会通过专利投诉方式来控告我们，因为我们有自己的知识产权。 5G下，媒体应用所面临对挑战视频流量一直是占领网络流量的先驱，在5G趋势下会只增不减思科公司考预测的2017年到2020年全国以IP为基础的视频流量百分比。到2020年视频流量百分比可以达到82%。到2020年82%的流量是视频传输，包括视频会议、小视频、云游戏类似的服务。 而5G下，媒体应用也面临着多种挑战。 一是新兴媒体格式的出现，包括4K、8K等。另外是新兴媒体的体验，比如沉浸式媒体、VR、增强现实AR、云游戏等都需要很强的带宽和低延时等网络的需求。比如自动驾驶，需要很高的网络可靠性。控制的连接设备、新兴媒体的运营模式，OTT运营比如像YouTube、NetFlix，国内的优酷等。美国NeFflix在高峰期时视频流量可以占全球65%。随着网络带宽越来越高，视频流量会越来越高，我们想要体验更高的多媒体流量只会越来越难。 5G下重要的新兴媒体格式：8K1.为什么说8K是5G下重要的新兴媒体格式现在很多人提到8K，8K对我们来说到底意味着什么？——8K意味着全方位视频体验的提升，一是分辨率，二是亮度，三是色彩位数，8位或者10位，然后是帧率。 8K分辨率是708x～4320，这比普通高清上升5-6个维度，意味着看到的像素更多，更清晰。 SDR和HDR是图像亮度的标准。亮度的单位nit。人眼对亮度可以识别0.01到2万nit。HDR之前用的是SDR，是100nit，跟人眼可以看到2万nit比起来还是很小的。HDR是SDR的10倍大约是1000nit，图像更加清晰更加好。8K出现后，HDR可能达到5000或者1万。但随着8K不断推广，HDR技术不断提高，人肉眼看图像亮度时更加亮。 但是，普通视频是8位表示一个像素，8位是256种颜色；而有了8K后，10位或者12位是一个趋势，10位是一个像素有1024种颜色，12位更很多了。颜色越多，意味着看的色彩越鲜艳。这对我们来讲，更重要的是这表示每一个视频、像素的分量就很重，最终落实到一个视频的文件大小，这个文件就会越来越大。 网络看视频大约在30帧每秒，在1秒里可以看30个图片。人的肉眼对快速移动的图片是分辨不清的。到8K后会支持到60帧一秒或者120、180。在一段时间内看图片的帧率会越来越多。这样看到的视频就会越来越平滑。现在看大片，慢动作，那个就是用高帧率拍，比如1秒钟拍了100个图片，在5秒钟内放出来，这就是慢动作释放的原理。 给大家看一下8视频文件的大小大。如果一个像素是15个bit（这个是比较保守，最可能该是30bit甚至更大），那么不经过压缩的一个120帧每秒的8K的视频1秒大约是60G。如果按照如压缩1000:1，压缩后60M左右。 我们国家在8K的发展和普及相对落后，日本和韩国跑得相对快。日本将会在2020年用8K直播。中国在2022年冬奥会时也会用4K和8K结合的形式直播，相信那个时候很多8K支持的设备、网络协议、5G技术都会相对成熟一点。 2 .关于8K标准的制定，不得不提8K工业联盟腾讯多媒体实验室在今年8月份时，成功加入了8K工业联盟，成为了董事会一席。这意味着腾讯在8K未来发展时有一定的话语权，可以参与制定8K的标准，在推动8K在未来5G网络下起到非常主导的作用。 5G多媒体压缩技术前沿如果只有5G，而没有视频压缩，那对于多媒体来说传输一切都是0。所以，这里我再讲一下腾讯多媒体实验室最重要的技术——视频压缩技术。 1.VVC（H266）视频压缩标准简介简单讲一下视频压缩技术的演进：2003年AVC（H264）编码标准正式发布。2013年时到了HEVC（H265）。每一次视频压缩技术的迭代，都会比上一次主观上提高50%左右，客观上提高30%。客观是通过数学统计，主观是人眼看，最后综合下来有40%～50%的提高。 而VVC（H266）是腾讯多媒体实验室正在积极参与制定的。VVC在HEVC上客观节省33%，主观是40%～50%。腾讯多媒体实验室在很短时间内有几十项专利被研发，并且好几个位成员都在VVC里承担主席席位。 VVC视频编码架构跟HEVC基本一样，但为什么它会提高？在某些算法上经过前十年包括硬件的支持，算法上有优化、提高，在整体视频压缩基础上有客观上30%的提高和主观上50%的提高。 整个VVC包括HEVC在处理视频压缩时，根据最简单的视频播放道理，短时间内看很多照片，视频压缩分两个方向：帧内压缩和帧间压缩。 帧间压缩是根据不同图片之间的差别，把这几个照片放在一块进行压缩。HEVC只支持一种方法，VVC支持四种方法。在压缩时提供更多可能性，更大的提高了压缩的速率。 帧内压缩是在一个图片内找到相似点压缩。HEVC支持33种方向，但VVC可以支持65个方向，可以提高预测和压缩的准确性。VVC支持更多帧内预测技术比如MRL，支持多条线预测。 处理完帧间和帧内预测后，下一步做数学运算，把所预测的根据数学的离散正弦、离散余弦。这两个是压缩里比较常用的技术。HEVC只支持离散余弦，VVC支持离散余弦和离散正弦。把所有像素转成数字后，做数学运算，最后做无损压缩。视频压缩原理，就是把大数据变成小数据，文件大小就会降低。 2.腾讯多媒体实验室关于VVC技术落地总结和成果 现在VVC比之前做的HEVC视频压缩客观上33%左右，主观上50%。我们在相同感官条件下，视频文件已经少了一半。 VVC应用的场景很多，对腾讯内部来说有各种社交类，微信，腾讯视频，云游戏等。 截止到2016年6月份，腾讯VVC视频压缩技术是全球第三，而且是用了不到两年时间。 另外还有一个重要的成果，腾讯开发的《王者荣耀》被加入到VVC测试序列，可以更好的压缩游戏，这个意义对腾讯是非常大的。 3.腾讯多媒体实验室标准落地现状在简单总结了标准制定的成果后，我们再来看一下腾讯多媒体实验室标准落地现状。 这里重点讲一下云游戏。云游戏跟传统游戏最大的不同是传统玩游戏时要买游戏然后下载然后安装，要补丁就要下载补丁。云游戏是任何处理都在云端服务器端，不需要下载，你需要的是注册一个帐号，可以用任何设备，比如电脑、手机同时玩这个游戏。你现在坐在这儿玩，突然要起来，拿着手机可以接着玩。这是云游戏为我们带来的新的用户体验。现在全世界做云游戏的公司有谷歌、Microsoft，腾讯是第三个。现在在深圳、上海已经测试。 云游戏是视频压缩技术很大的应用场景，包括前面说的IETF里包括QUIC等很多网络传输标准。你的游戏安装都在云端，云端把游戏渲染，渲染之后以视频形式通过网络传输给客户端，客户端不需要维护、下载、安装游戏，也不需要打补丁，服务器已经帮你处理完，你需要的是像看一个电影一样玩游戏，这是非常不一样的游戏用户体验。另外，多媒体实验室研发的TPG图片压缩技术，从主观上分不出区别的前提下文件数量少了十几倍，这使文件传输到云端会减少很多带宽。 4.关于解码标准前面讲了我们主要做视频压缩编码标准，现在我们也在做结合标准，把标准做到编码器里，就可以直接产生商业化。我们不仅做编码也做解码，解码就是在客户端里播放这个视频，编码是把视频源压缩。同时，我们也在维护一些免费的标准，像VP9、AV1，做一些自己的贡献，促进视频压缩生态圈健康发展下去。 面向未来的多媒体系统架构：异构计算异构计算，就是用不同的结构做计算。这个概念并不是很新，在上世纪90年代已经有异构计算的概念，但当时硬件支持也并不是很好，所以一直没有发展下去，最近十年人工智能、机器学习、深度学习、自动驾驶这些人工智能产品落地，对不同计算的要求提高了一个档次。再加上摩尔定律，现在芯片制造厂商已经很难很难在短时间内把芯片速率提高。 我们已经见过异构结构，平时玩游戏装单独的CPU，或者CPU和GPU结合就是异构的一种。现在随着计算要求提高，比如云游戏，在云端需要大量GPU，把游戏压缩成视频再传输到客户端。如果只是用CPU，根本做不到，现在用GPU包括FPGA，把所有能运算的结构放在一起，让它们共同运转。比如CPU更好做的是缓存、处理，GPU可以做更好的运行处理。把不同计算的兆放到不同模块，实现更好的异构结构。多媒体实验室在这方面有很大的投入，比如跟很多芯片厂商合作，把我们自己的编解码技术标准做到他们的芯片里，来为腾讯的业务服务。 欢迎关注“云加社区”公众号，回复关键词“5G风起”，更多5G相关内容即将呈现。

辞旧迎新。2018的工作总结一直拖着拖到现在忍不下去了终于扣了半天扣出一个总结。2018年已经过去，回看，有努力，有成果，也有遗憾，有无奈。由于不考虑kpi，所以主要总结遗憾和无奈。最大的遗憾是立了一个为听障／视障人士开发更满足他们需求的功能交互的flag，结果无疾而终。目前苹果手机做的相对比较好，但是价格较贵，听视障碍人士很多收入不高，android手机价格相对便宜但是这方面做的不太好，第三方软件受限于权限问题，某些方面可能做不了系统厂家可以做的事。原因有很多成分，自己努力坚持不够吧。最大的无奈是在软件供应链上被巨头鄙视了。尽管做了很多努力，比如配套的生态，重点宣传等共赢措施。原因有很多成分，也许是自身体量的问题，巨头看不上，也许是沟通问题，没找对门路或者没能打动对方。没有bug的一年，不是完整的一年，2018年bug主要分布：新需求产生的bug为33%。也就是自己作出来的问题占了1/3。可以理解。年度最作，录像防抖方案存在瑕疵，永远有20多帧视频cache在防抖模块里，只有在结束的时候才能flush出来，20多帧视频在时间维度上差不多要1秒钟了，在结束之前音频相应的就多了1秒钟，而从录像的框架和编码的实现上都不会在兼顾这种奇葩情况上浪费时间，所以录像播放的最后1秒只有声音没有视频观看体验很不好。最终权衡再三妥协再三，最佳方案是，作了一个小模块cache音频1秒钟左右，结束的时候音频cache和视频cache默认被放弃，这样录出来的视频就非常同步了，虽然最后800毫秒左右会丢掉，这是综合最大效益的方案了，硬伤没办法。传统框架上的问题为27%。不到三分之一，比如解码，播放，交互等等。声音和音质的问题占了15%。包括测出来的和用户反馈的。视频图像质量的问题报告或反馈几乎没有(彩条，绿屏，马赛克，不完整等属于视频图像解码显示问题不属于质量问题)。有2个原因，用户对视频图像质量的变化不敏感或者不挑剔，或者用户群还没有形成这样的意识环境，视频图片行业内容为王，有的看就行还要啥自行车，还有就是视频行业的内容巨头们也是很关注视频的质量的体验的，当然他们也关心带宽，所以他们提供了有前提条件的内容质量，但是也不尽然，最近在重温西游记前半部分，无论哪个档次画面都让我觉得还不如我小时候看的crt画面清楚。但是音质就不一样了，我们对声音更敏感和挑剔，一首3分钟的音乐，中间出现两次杂音或者卡顿之类的，就要骂娘了。可能还有部分原因是用户没有画质反馈入口，这个可以完善。CTS/GTS/VTS等问题占比11%。这是google为了保证android开放生态下系统服务一致性安全性等方面的强制措施。而且各种TS越来越多，收的越来越紧。好好搞，google会考试的，考不过后果很严重的，上个月的搞完了吗，这个月还有，忙起来，省的你们闲得想自己搞个操作系统。性能，功耗，稳定性占比6%。框架的性能，功耗在cpu一定的情况下80%是一定的，20%可能存在优化空间。业务上的功耗性能问题会比框架要多得多。稳定性问题占了大部分，框架承上启下提供了一些服务，上层业务在框架上发展，框架的缺陷或底层缺陷导致的框架不可用或可用性变差，会表现在上层业务上，有些业务是系统业务会引发连串的系统问题导致系统不可用或可用性降低，用户体验变差，如果上层业务不受影响，谁管你框架的死活，当然这是不可能的，业务是鱼框架是水。平台漏洞占比5%。单独拿出来是因为，这种坑太深太隐蔽，而且造成的后果比较严重。几家平台坑的各有特点，某家最坑，使用这个平台的客户较少，不过代码最干净，研发投入最大。这里要颁发两个年度最佳应用一个是海外的sweetsanp，一个是酷狗音乐，它们暴露了两个很严重的平台漏洞。（1）.sweetsnap遇到的问题。是无法正常录像，框架层面也没有报告给app，app在这个过程中认为一切正常，调查发现sweetsnap在使用编码接口时，参数设置存在逻辑问题：它使用了b frame，但是b frame个数为0，而p frame的个数大于0。首先，这样设置在编码原理上是有问题的，但是mediacodec api并没有显示的限制这种设置或者说明，那样的话增加了接口的复杂度，对开发者是不友好的，边界的检查放在了框架设置更底层的hal层，然后把结果逐层上报。这里平台上v4l2边界检查的逻辑出现了漏洞，放过了使用b frame，但是b frame为0， p frame不为0的情况，没有正确上报问题，实际编码又没有成功。（2）.酷狗音乐遇到的问题。是功耗比正常数据大了300多mA。看systrace统计，audiotrack中的一个线程占有cpu时间异常，感觉在空跑。发现是mMyCond.waitRelative(lock, paused_ns)这个函数实效，进一步调查发现这个函数在应用处于32bit运行时失效，基本所有音视频第三方应用都是32bit运行时，都采用audiotrack输出声音，所有基本都有这个问题。用我们可以切换32/64bit运行时的demo发现，在32bit下也是这种失效情况，64bit下函数有效，由于参数paused_ns数值比较大，加上32bit/64bit的差异，怀疑是溢出问题。最后发现waitRelative最终实现是libc的__pthread_cond_waittimeout函数，超时参数在32bit下CLOCK设置为REALTIME时，会发生溢出，需要将CLOCK调整为MONOTONIC。开发者提出的问题占比在3%。但有一部分问题系统层面也不好处理或者没有义务处理需要开发者自己关注注意api的使用。一些api使用开发者很熟悉了比如bitmap用完要记得recycle，culsor要记得close之类的，网上类似的文章也一大堆，但是有些api或参数的使用注意事项几乎没有介绍。（1）.对于没有正确使用api的android设计了一些惩罚机制。应用开发者应该很清楚exception这个机制。在 android除了exception机制之外其实还有其他提醒开发者的方式，比如assert, abort等，但是它们不像exception这么温柔了，直接用自杀的方式告诉你兄弟这样搞不对。比如app要录像，录屏的时候，分辨率宽高最好设置成2的倍数，也就是不要出现奇数，16的倍数最好，方便底层编码工作，有些平台对不是2的倍数的情况，会直接在native层abort导致程序异常。而如果对多媒体视频不太了解的java工程师往往比较迷惑暂时找不到头绪。即使看到native fatal backtrace。即使在webrtc这样非常流行的开源库里，在一个动态分辨率的调整的模块里也存在类似问题，它降低分辨率的算法是直接宽高各处以2，这样降低分辨率的梯度不够平滑不说，如果分辨率处以2最后会变成奇数，造成兼容性问题。（2）.还有一种应用更过分，占着所有坑，别人来了没坑用。（2.1）.比如有些开发者，在自己的应用里，无限制的使用mediaplayer但短期内不释放，用了几个发现用不了。这是因为mediaplayer为开发者提供播放便利的同时，它也隐藏了很多细节比如解析解码等模块或资源的管理。一个mediaplayer对象的创建或使用就代表了一套解析解码等相关资源的分配，只有这个mediaplayer被释放了（不一定java对象被回收），这套资源才会回收释放，这也是mediaplayer提供release这个接口的设计初衷，让开发者尽早释放配套资源，可以在java对象被回收之前。如果这些配套资源都是软件的，在内存允许的情况下，理论上是不存在对象个数限制的，但是解码器有些是硬件的尤其常用的h264,h265等，硬件资源是有限制的，管理解码器的框架叫omx，硬件解码器omx实例的个数是有限的。对于h264等格式android播放框架默认优先使用硬件解码，一个mediaplayer对象分配一个硬件解码器omx实例，但是有个数限制，超过个数分配不出来。而android框架上并没有硬件分配不出来转去分配软解码器的设计（如果这么做会产生另外一个困惑，开发者不知道你第n个解码器是软的还是硬的）。硬件解码器omx实例个数每个平台不一样最少的也有2个，最多的可能有8个，同时播放2个视频够了吧(2个mediaplayer对象)，如果真有特殊需求，就不要用mediaplayer了，用android的mediaextractor,mediacodec去同时调用硬件和软件解码器，或者自己用ffmpeg实现解码播放。（2.2）.除了占着mediaplayer不放的，还有占着audiotrack不放的。而且是某些日活上亿超级应用，用户每天都会打开。有些定制系统为了用户体验追求快速启动，会把一些超级应用放进一个名单里，不会被真正杀死。audiotrack也是有限的，最多32个，如果被超级应用全部吃掉，不释放或泄漏了，其他有音频输出需求的应用再也获取不到audiotrack实例，用户就听不到声音了，而且用户杀死也没用，因为它没被真正杀死。my chaos monkey designwhat is chaos monkey?名字来源于netflix的一个开源项目chaos monkey，该项目故意制造一些线上问题然后看整个系统包括软件，人员等的反应能力。逆向思维，值得学习。在这里是一套自动化测试体系，包含了对边界条件，性能，重点api等扫描的测试用例和自动化过程实现。是对android官方提供的资源的一个补充。buster。灵感也来源于netflix的chaos monkey。在移动端实际工作中，经常会遇到一些逼近或突破软件系统极限的问题，对软件的边界设计是一个考验，也会暴露很多问题。这些问题，散落在各个模块的bug系统里，即使有关注也是各个模块人工跟踪可重复性差，并没有作为一类问题加以重视。buster做的是，将这些问题作为一类问题，并且利用自动化的方式实现高可重复性，提高扫描或回归等测试效率。比如，一张巨大的图片，应用在前台解码时几乎会耗尽所有的内存，系统剩余可用内存会逼近0。这个时候会发生一些不可以预期的严重问题，也许是前台应用会崩溃界面闪退，也许是其它模块内存得不到分配导致系统卡死等等。现实的场景有很多，比如微信朋友圈发图选图的时候打不开或闪退，文档或图库等闪退或导致系统卡死等等，这些地方都会去解码图片，如果解码列表里有一张巨大的图片就会发生这些问题。chanpion。关注框架重点api的性能，核心是它的benchmarks，这些数据是通过对比不同平台，厂家，机型的出来的。属于同一代的平台会拿来进行比较，但是也要注意测试时，同一代的平台不同厂家产品，运行时的当前cpu频率，比如都是660的平台，同一测试场景结果差异比较大，要关注下当前cpu频率是否有差别，有些厂家会通过调频做一些加速。还有一个方法确定，就是把执行过程拆分成一个个原子步骤，每一步耗时，在总耗时少和总耗时多的产品上都统计出来，如果每一原子步骤耗时都没有异常大的说明你的这个过程问题不大，差异应该在不同产品cpu频率不同，反之如果在耗时多的产品上执行过程中某一原子步耗时过长，这里可能存在问题需要优化。straight。是api的demo实现，便于问题的验证和对比，也可以给开发者作为参考。主要是场景和feature demo，更贴近于实际问题，是对android api demo的一个补充。比如，通过实现多路录音，来模拟录音的同时录像，voip通话之类的场景。展望2019less is more & slow down。一个词概括就是focus，在有限资源的前提下，专注1，2件最有价值最有意义的事情。2019我们还有机会吗，试过才知道。