要理解什么是视频编解码，首先咱们须要理解什么是视频。
视频归根结底是一系列间断的图像帧，当这些图像以肯定速率播放时，人眼就会判断其是间断流动的，这样就形成了视频。
那为什么要进行视频编解码呢，因为视频信号数字化后数据量微小，如果以这样的数据量进行网络传输或者存储时，会占用大量的带宽和存储空间，造成节约。已以后支流的 1080P 分辨率，一秒 30 帧的视频举例 1080P 图像的高和宽别离为 1080 和 1920，每个像素用三原色 RGB 示意(即每个像素三个字节)，因而每帧图像的数据量为 1080x1920x3x8=49766400，每秒 30 帧，则须要乘以 30，49766400×30 = 1,492,992,000bps。因而视频编解码技术因而而诞生。
为什么视频能够压缩呢，咱们分两个方面看这个问题：
1 在一副图像中，往往有相近的色彩区域，这样就蕴含了大量的冗余信息，能够基于 变动编码和量化编码进行冗余信息处理，达到压缩的可能。
2 两幅图像之间，必定也存在大量雷同以及类似的局部，因而产生了静止弥补及静止预计来形容静止矢量来进行图像间冗余信息压缩的可能。
基于图像内预测编码和图像间预测编码原理，诞生了泛滥的视频编解码。
H.26X 系列，从 H.261,H.263, 到以后支流的 H.264, 及 H.265, 以后最新制订规范的 H.266；H.26X 系列的倒退主旨为应用技术优化压缩数据量不可能达到更好的视频品质；像 H.265 旨仅需原先的一半带宽即可播放雷同品质的视频。它与 H.264 有着相相似的算法架构，并同时对一些相干技术加以改进而大幅提高视频品质。
Mpeg 系列，Mpeg1,Mpeg2,Mpeg4(Mpeg4 之后与 H.264 交融)；
VP 系列，VP8,VP9；VP 系列是 Google 自研并开源的编解码系列，Google 创立 VP 系列编解码的起因也是 H.264 须要专利费用，即如果 WebRTC 应用 H.264，则须要按浏览器领取相干的专利费用(当然因为 H.264 宽泛支持性，次要起因还是 cisco 开源了 OpenH64)，VP8 即对标 H.264，除了在 WebRTC 畛域，其知名度和反对度则绝对无限； VP9 则对标 H.265，VP9 的指标之一是在保障雷同品质的状况下绝对于 VP8 能够缩小 50% 左右的码率，换句话说，雷同的码率，VP9 能比 VP8 画质有非常明显的进步；
国产系列，AVS 规范，AVS1.0,AVS2.0； AVS 是我国具备自主知识产权的第二代信源编码标准。AVS2.0，属于与 H.265 和 VP9 同级的新一代规范；尽管 AVS 的应用和知名度貌似不高，但阐明我国曾经留神到这个畛域并发力；
SVAC 规范，我国一个利用于视频监控畛域的编解码，特点在于加密认证高平安：规定了加密和认证接口及数据格式，保证数据的安全性、完整性、非否定性；感兴趣区域（ROI）编码：图像分为若干个感兴趣区域和一个背景区域，在重点监控区域保障实时视频信息，帧率较高，节俭非感兴趣区域的开销; 视频信息嵌入，可将声音辨认特征参数、非凡事件、工夫等信息都可嵌入编码里，在不解开视频的前提下，可针对性的提取、疾速检索、分类查问; 可伸缩性视频解码（SVC）：对视频数据分层编码，满足不同传输网络宽带和数据存储环境的需要，一般编码程序传输有主码流、子码流，占用带宽较大，SVAC 传输只有一类码流，对码流分层就可取得不同分辨率的图片信息。
WebRTC 最后由 Google 提出，次要是基于浏览器的 RTC 通信，故此叫做 WebRTC；初期几大浏览器在 WebRTC 及其视频编解码反对的力度上也是不一的，像 Mozilla 营垒的 Chrome，FireFox，Opera 初期也不一样，Chrome 初期只反对 VP 系列，起因下面介绍过，后续逐步延长到 H.264，因为原有的 RTC 通信畛域大都应用 H.264 编解码，因而 H.264 的反对对于跨畛域 RTC 互通提供了很大便当，我感觉也肯定水平上减速了 WebRTC 的倒退，比方浏览器和手机同时退出到视频会议；或者浏览器跟以后的 SIP 终端点点通话，因为 H.264 的反对，大大减少了转码的要求，做视频的转码是十分耗费性能的，或者应用专用硬件实现。
当然后续越来越多厂家退出了 WebRTC 畛域，像 Agora 声网的 RTC 零碎，曾经超过了 WebRTC，像他的各种硬件芯片平台的 SDK 适配，SD-RTN 零碎(优先门路抉择确保高的传输品质，毕竟通信不是纯终端侧的性能，网络对通信品质，视频或者音频的影响也是 juda)，优异的弱网反抗算法，能够抵挡 70% 的视频丢包确保通话晦涩。
以后随着物联网的倒退，除了人们的通话通信，音视频会议之外，RTC 越来越宽泛的利用各个领域；像安防监控，智能硬件终端，视频解决所处的硬件设施越来越小型甚至微型化，原有的基于软件进行编解码，无论从内存，CPU，性能等资源占用方面，都显示出很大劣势；泛滥厂家也意识到这个状况，因而越来越多的业余芯片干业余事件的趋势越发显著。像监控畛域，华为海思 ARM+ 业余视频处理单元，占据了国内视频 70% 以上的市场；NVIDIA 推出了 Jeston 系列芯片，应答边缘计算场景，ARM+GPU 的解决形式更通用，同时因为 ARM 的低功耗，能够使得边缘侧设施具备视频解决，机器视觉解决，AI 剖析能力，大大丰盛了智能物联网的利用。
因为这两年的疫情，在线教育，直播的倒退，Web 实时通信带来了十分大的倒退机会，其商业化胜利也为技术倒退继续注入了生机；随同着 5G 的炽热，VR/AR、主动驾驶等新利用场景的呈现，必将为 WebRTC 技术带来新的能源，催动着基于互联网的实时音视频通信技术的倒退。