一、概述

1)流媒体协定是服务器与客户端之间通信遵循的规定。以后网络上次要的流媒体协定如表所示。

2)封装格局的次要作用是把视频码流和音频码流依照肯定的格局存储在一个文件中。

3)视频编码的次要作用是将视频像素数据（RGB，YUV等）压缩成为视频码流，从而升高视频的数据量。如果视频不通过压缩编码的话，体积通常是十分大的，一部电影可能就要上百G的空间。视频编码是视音频技术中最重要的技术之一。视频码流的数据量占了视音频总数据量的绝大部分。高效率的视频编码在等同的码率下，能够取得更高的视频品质。

4)音频编码的次要作用是将音频采样数据（PCM等）压缩成为音频码流，从而升高音频的数据量。音频编码也是互联网视音频技术中一个重要的技术。然而个别状况下音频的数据量要远小于视频的数据量，因此即便应用略微落后的音频编码标准，而导致音频数据量有所增加，也不会对视音频的总数据量产生太大的影响。高效率的音频编码在等同的码率下，能够取得更高的音质。

二、流媒体协定

三、封装格局

除了AVI之外，其余封装格局都反对流媒体，即能够“边下边播”。有些格局更“万能”一些，反对的视音频编码标准多一些，比方MKV。而有些格局则反对的绝对比拟少，比如说RMVB。

四、视频格式

不同编码规定的比照


熵编码：如果要求编码过程中不失落信息量，即要求保留信息熵（对信息量多少的度量），这种信息放弃编码叫熵编码，是依据音讯呈现概率的散布个性而进行的，是无损数据压缩编码。

I帧 P帧 B帧

1）I帧示意关键帧，你能够了解为这一帧画面的残缺保留;解码时只须要本帧数据就能够实现(因为蕴含残缺画面)
2）P帧示意的是这一帧跟之前的一个关键帧(或P帧)的差异，解码时须要用之前缓存的画面叠加上本帧定义的差异，生成最终画面。(也就是差异帧，P帧没有残缺画面数据，只有与前一帧的画面差异的数据)
3）B帧是双向差异帧，也就是B帧记录的是本帧与前后帧的差异(具体比较复杂)，换言之，要解码B帧，不仅要获得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加获得最终的画面。B帧压缩率高，然而解码时CPU会比拟累。

去块滤波：因为重构块的边缘像素与块外部像素相比复原精度要低，块效应是目前压缩编码最显著的视觉失真之一（图像相关性受到破坏）。

H.264 编码技术

1）更高的编码效率：同H.263等规范的特率效率相比，可能均匀节俭大于50％的码率。

2）高质量的视频画面：H.264可能在低码率状况下提供高质量的视频图像，在较低带宽上提供高质量的图像传输是H.264的利用亮点。和MPEG2和 MPEG4 ASP等压缩技术相比，在等同图像品质下，采纳H.264技术压缩后的数据量只有MPEG2的1/8，MPEG4的1/3。显然，H.264压缩技术的采 用将大大节俭用户的下载工夫和数据流量免费。

3）进步网络适应能力：H.264能够工作在实时通信利用（如视频会议）低延时模式下，也能够工作在没有延时的视频存储或视频流服务器中。

4）采纳混合编码构造：同H.263雷同，H.264也应用采纳DCT（离散余弦变换）变换编码加DPCM的差分编码的混合编码构造，还减少了如多模式静止预计、帧内预测、多帧预测、基于内容的变长编码、4x4二维整数变换等新的编码方式，进步了编码效率。

5）H.264的编码选项较少：在H.263中编码时往往须要设置相当多选项，减少了编码的难度，而H.264做到了力求简洁的“回归根本”，升高了编码时复杂度。

6）H.264能够利用在不同场合：H.264能够依据不同的环境应用不同的传输和播放速率，并且提供了丰盛的错误处理工具，能够很好的管制或打消丢包和误码。

7）谬误复原性能：H.264提供了解决网络传输包失落的问题的工具，实用于在高误码率传输的无线网络中传输视频数据。

8）较高的复杂度：264性能的改良是以减少复杂性为代价而取得的。据估计，H.264编码的计算复杂度大概相当于H.263的3倍，解码复杂度大概相当于H.263的2倍。

H.265 编码技术

1）H.265是新的编码协定，是H.264的升级版。H.265规范保留H.264原来的某些技术，同时对一些相干的技术加以改进。新技术应用先进的技术用以改善码流、编码品质、延时和算法复杂度之间的关系，达到最优化设置。

2）H.265相比H.264最次要的扭转是采纳了块的四叉树划分构造，采纳了从64x64~8x8像素的自适应块划分，并基于这种块划分构造采纳一系列自适应的预测和变换等编码技术。

3）H265能够实现利用1~2Mbps的传输速度传送720P一般高清音视频。同样的画质和同样的码率，H.265比H2.64 占用的存储空间要少实践50%。

4）H265提供了更多不同的工具来降低码率，以编码单位来说，H264中每个宏块大小都是固定的16x16像素，而H265的编码单位能够抉择从最小的8x8到最大的64x64。

较新的视频格式

RM格局

Networks公司所制订的音频视频压缩标准称之为Real Media，用户能够应用RealPlayer或RealOne Player对合乎RealMedia技术规范的网络音频/视频资源进行实况转播，并且RealMedia还能够依据不同的网络传输速率制订出不同的压缩比率，从而实现在低速率的网络上进行影像数据实时传送和播放。这种格局的另一个特点是用户应用RealPlayer或RealOne Player播放器能够在不下载音频/视频内容的条件下实现在线播放。

RMVB格局

这是一种由RM视频格式降级延长出的新视频格式，它的先进之处在于RMVB视频格式突破了原先RM格局那种均匀压缩采样的形式，在保障均匀压缩比的根底上正当利用比特率资源，就是说静止和动作局面少的画面场景采纳较低的编码速率，这样能够留出更多的带宽空间，而这些带宽会在呈现疾速静止的画面场景时被利用。这样在保障了静止画面质量的前提下，大幅地进步了静止图像的画面质量，从而图像品质和文件大小之间就达到了奥妙的均衡。

五、音频格式

MP3(MPEG-1 audio layer 3)

类型：Audio
制定者：MPEG
所需频宽：128～112kbps（压缩10～12倍）
个性：编码简单，用于互联网上的高质量声音的传输，如MP3音乐压缩10倍，2声道。MP3是在综合MUSICAM和ASPEC的长处的根底上提出的混合压缩技术，在过后的技术条件下，MP3的复杂度显得绝对较高，编码不利于实时，但因为MP3在低码率条件下高水准的声音品质，使得它成为软解压及网络播送的宠儿。
长处：压缩比高，适宜用于互联网上的流传
毛病：MP3在128KBitrate及以下时，会呈现显著的高频失落 应用领域：voip 版税形式：Free 备注：同MPEG-1 audio layer 1

WMA(Windows Media Audio)

类型：Audio

制定者：微软公司

所需频宽：320～112kbps（压缩10～12倍）

个性：当Bitrate小于128K时，WMA简直在同级别的所有有损编码格局中体现得最出色，但仿佛128k是WMA一个槛，当Bitrate再往上晋升时，不会有太多的音质扭转。

长处：当Bitrate小于128K时，WMA最为杰出且编码后失去的音频文件很小。

毛病：当Bitrate大于128K时，WMA音质损失过大。WMA规范不凋谢，由微软把握。

应用领域：voip

版税形式：按个收取

备注：WMA的全称是Windows Media Audio，它是微软公司推出的与MP3格局齐名的一种新的音频格式。因为WMA在压缩比和音质方面都超过了MP3，更是远胜于RA(Real Audio)，即便在较低的采样频率下也能产生较好的音质，再加上WMA有微软的Windows Media Player做其弱小的后盾，所以一经推出就博得一片欢呼。

较新的音频格式

APE

一种新兴的无损音频编码，能够提供50-70%的压缩比，尽管比起有损编码来太不值得一提了，但对于谋求完满音质的敌人几乎是天大的福音。APE能够做到真正的无损，而不仅是听起来无损，压缩比也要比相似的无损格局要好。

六．代码实现对编码格局的管制

设置音频编码

MediaRecorder.setAudioEncoder(MediaRecorder.AudioEncoder.xxx);

设置视频编码

MediaRecorder.setVideoEncoder(MediaRecorder.VideoEncoder.xxx);

七．总结

要想得到小的压缩体积，高质量的音频视频文件，要一直优化编码算法也要有相应的硬件反对，不同的文件格式实用于不同的畛域和情景，咱们要依据利用场景抉择相应的文件类型，好的编码格局终会发扬光大，落后的编码格局终究会淘汰。

自己从事Android Camera相干开发已有5年

目前在深圳下班

欢送大家关注我的微信公众号“小驰笔记”

大家一起学习交换

-------- 2021.01.29 深圳 00:03