共计 3627 个字符，预计需要花费 10 分钟才能阅读完成。
一、概述
1)流媒体协定是服务器与客户端之间通信遵循的规定。以后网络上次要的流媒体协定如表所示。
2)封装格局的次要作用是把视频码流和音频码流依照肯定的格局存储在一个文件中。
3)视频编码的次要作用是将视频像素数据（RGB，YUV 等）压缩成为视频码流，从而升高视频的数据量。如果视频不通过压缩编码的话，体积通常是十分大的，一部电影可能就要上百 G 的空间。视频编码是视音频技术中最重要的技术之一。视频码流的数据量占了视音频总数据量的绝大部分。高效率的视频编码在等同的码率下，能够取得更高的视频品质。
4)音频编码的次要作用是将音频采样数据（PCM 等）压缩成为音频码流，从而升高音频的数据量。音频编码也是互联网视音频技术中一个重要的技术。然而个别状况下音频的数据量要远小于视频的数据量，因此即便应用略微落后的音频编码标准，而导致音频数据量有所增加，也不会对视音频的总数据量产生太大的影响。高效率的音频编码在等同的码率下，能够取得更高的音质。
二、流媒体协定
三、封装格局
除了 AVI 之外，其余封装格局都反对流媒体，即能够“边下边播”。有些格局更“万能”一些，反对的视音频编码标准多一些，比方 MKV。而有些格局则反对的绝对比拟少，比如说 RMVB。
四、视频格式
不同编码规定的比照
熵编码：如果要求编码过程中不失落信息量，即要求保留信息熵（对信息量多少的度量），这种信息放弃编码叫熵编码，是依据音讯呈现概率的散布个性而进行的，是无损数据压缩编码。
I 帧 P 帧 B 帧
1）I 帧示意关键帧，你能够了解为这一帧画面的残缺保留; 解码时只须要本帧数据就能够实现 (因为蕴含残缺画面)
2）P 帧示意的是这一帧跟之前的一个关键帧(或 P 帧) 的差异，解码时须要用之前缓存的画面叠加上本帧定义的差异，生成最终画面。(也就是差异帧，P 帧没有残缺画面数据，只有与前一帧的画面差异的数据)
3）B 帧是双向差异帧，也就是 B 帧记录的是本帧与前后帧的差异(具体比较复杂)，换言之，要解码 B 帧，不仅要获得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加获得最终的画面。B 帧压缩率高，然而解码时 CPU 会比拟累。
去块滤波：因为重构块的边缘像素与块外部像素相比复原精度要低，块效应是目前压缩编码最显著的视觉失真之一（图像相关性受到破坏）。
H.264 编码技术
1）更高的编码效率：同 H.263 等规范的特率效率相比，可能均匀节俭大于 50%的码率。
2）高质量的视频画面：H.264 可能在低码率状况下提供高质量的视频图像，在较低带宽上提供高质量的图像传输是 H.264 的利用亮点。和 MPEG2 和 MPEG4 ASP 等压缩技术相比，在等同图像品质下，采纳 H.264 技术压缩后的数据量只有 MPEG2 的 1 /8，MPEG4 的 1 /3。显然，H.264 压缩技术的采 用将大大节俭用户的下载工夫和数据流量免费。
3）进步网络适应能力：H.264 能够工作在实时通信利用（如视频会议）低延时模式下，也能够工作在没有延时的视频存储或视频流服务器中。
4）采纳混合编码构造：同 H.263 雷同，H.264 也应用采纳 DCT（离散余弦变换）变换编码加 DPCM 的差分编码的混合编码构造，还减少了如多模式静止预计、帧内预测、多帧预测、基于内容的变长编码、4×4 二维整数变换等新的编码方式，进步了编码效率。
5）H.264 的编码选项较少：在 H.263 中编码时往往须要设置相当多选项，减少了编码的难度，而 H.264 做到了力求简洁的“回归根本”，升高了编码时复杂度。
6）H.264 能够利用在不同场合：H.264 能够依据不同的环境应用不同的传输和播放速率，并且提供了丰盛的错误处理工具，能够很好的管制或打消丢包和误码。
7）谬误复原性能：H.264 提供了解决网络传输包失落的问题的工具，实用于在高误码率传输的无线网络中传输视频数据。
8）较高的复杂度：264 性能的改良是以减少复杂性为代价而取得的。据估计，H.264 编码的计算复杂度大概相当于 H.263 的 3 倍，解码复杂度大概相当于 H.263 的 2 倍。
H.265 编码技术
1）H.265 是新的编码协定，是 H.264 的升级版。H.265 规范保留 H.264 原来的某些技术，同时对一些相干的技术加以改进。新技术应用先进的技术用以改善码流、编码品质、延时和算法复杂度之间的关系，达到最优化设置。
2）H.265 相比 H.264 最次要的扭转是采纳了块的四叉树划分构造，采纳了从 64×64~8×8 像素的自适应块划分，并基于这种块划分构造采纳一系列自适应的预测和变换等编码技术。
3）H265 能够实现利用 1~2Mbps 的传输速度传送 720P 一般高清音视频。同样的画质和同样的码率，H.265 比 H2.64 占用的存储空间要少实践 50%。
4）H265 提供了更多不同的工具来降低码率，以编码单位来说，H264 中每个宏块大小都是固定的 16×16 像素，而 H265 的编码单位能够抉择从最小的 8 ×8 到最大的 64×64。
较新的视频格式
RM 格局
Networks 公司所制订的音频视频压缩标准称之为 Real Media，用户能够应用 RealPlayer 或 RealOne Player 对合乎 RealMedia 技术规范的网络音频 / 视频资源进行实况转播，并且 RealMedia 还能够依据不同的网络传输速率制订出不同的压缩比率，从而实现在低速率的网络上进行影像数据实时传送和播放。这种格局的另一个特点是用户应用 RealPlayer 或 RealOne Player 播放器能够在不下载音频 / 视频内容的条件下实现在线播放。
RMVB 格局
这是一种由 RM 视频格式降级延长出的新视频格式，它的先进之处在于 RMVB 视频格式突破了原先 RM 格局那种均匀压缩采样的形式，在保障均匀压缩比的根底上正当利用比特率资源，就是说静止和动作局面少的画面场景采纳较低的编码速率，这样能够留出更多的带宽空间，而这些带宽会在呈现疾速静止的画面场景时被利用。这样在保障了静止画面质量的前提下，大幅地进步了静止图像的画面质量，从而图像品质和文件大小之间就达到了奥妙的均衡。
五、音频格式
MP3(MPEG-1 audio layer 3)
类型：Audio
制定者：MPEG
所需频宽：128～112kbps（压缩 10～12 倍）
个性：编码简单，用于互联网上的高质量声音的传输，如 MP3 音乐压缩 10 倍，2 声道。MP3 是在综合 MUSICAM 和 ASPEC 的长处的根底上提出的混合压缩技术，在过后的技术条件下，MP3 的复杂度显得绝对较高，编码不利于实时，但因为 MP3 在低码率条件下高水准的声音品质，使得它成为软解压及网络播送的宠儿。
长处：压缩比高，适宜用于互联网上的流传
毛病：MP3 在 128KBitrate 及以下时，会呈现显著的高频失落 应用领域：voip 版税形式：Free 备注：同 MPEG-1 audio layer 1
WMA(Windows Media Audio)
类型：Audio
制定者：微软公司
所需频宽：320～112kbps（压缩 10～12 倍）
个性：当 Bitrate 小于 128K 时，WMA 简直在同级别的所有有损编码格局中体现得最出色，但仿佛 128k 是 WMA 一个槛，当 Bitrate 再往上晋升时，不会有太多的音质扭转。
长处：当 Bitrate 小于 128K 时，WMA 最为杰出且编码后失去的音频文件很小。
毛病：当 Bitrate 大于 128K 时，WMA 音质损失过大。WMA 规范不凋谢，由微软把握。
应用领域：voip
版税形式：按个收取
备注：WMA 的全称是 Windows Media Audio，它是微软公司推出的与 MP3 格局齐名的一种新的音频格式。因为 WMA 在压缩比和音质方面都超过了 MP3，更是远胜于 RA(Real Audio)，即便在较低的采样频率下也能产生较好的音质，再加上 WMA 有微软的 Windows Media Player 做其弱小的后盾，所以一经推出就博得一片欢呼。
较新的音频格式
APE
一种新兴的无损音频编码，能够提供 50-70% 的压缩比，尽管比起有损编码来太不值得一提了，但对于谋求完满音质的敌人几乎是天大的福音。APE 能够做到真正的无损，而不仅是听起来无损，压缩比也要比相似的无损格局要好。
六．代码实现对编码格局的管制
设置音频编码
MediaRecorder.setAudioEncoder(MediaRecorder.AudioEncoder.xxx);
设置视频编码
MediaRecorder.setVideoEncoder(MediaRecorder.VideoEncoder.xxx);
七．总结
要想得到小的压缩体积，高质量的音频视频文件，要一直优化编码算法也要有相应的硬件反对，不同的文件格式实用于不同的畛域和情景，咱们要依据利用场景抉择相应的文件类型，好的编码格局终会发扬光大，落后的编码格局终究会淘汰。
自己从事 Android Camera 相干开发已有 5 年
目前在深圳下班
欢送大家关注我的微信公众号“小驰笔记”
大家一起学习交换
——– 2021.01.29 深圳 00:03