简介： 对于一个 ZIP 文件，因为规范的解压形式总是从读取文件的开端开始的，因而必须下载残缺个 ZIP 解压后能力拜访。当用户通过网络拜访 ZIP 文件时，下载解压所带来的耗时将大大降低用户体验。那么能不能边下载边解压呢？阿里巴巴娱乐技术 喻远将介绍 ZIP 流式解压的原理和技术实现门路。
关上网络上的 ZIP 文件须要几步？下载，解压，拿到所有文件。面对一个 ZIP，能不能「边下边播」、「按需下载」？
往年 6 月，优酷绘本技术团队开发出新的解压形式——ZIP 流式解压技术，并胜利利用在优酷绘本秒开我的项目中，30M+ 绘本均匀加载时长只需 0.91s，加载耗时比传统的解压形式升高了 88.3%，让用户的浏览体验直线晋升。理论比照成果如下：
本文将介绍 ZIP 流式解压的原理和技术实现门路，心愿为大家带来启发，将 ZIP 流式解压技术更多的利用到业务中。
一 什么是 ZIP
ZIP 是一种文件格式，定义了如何将多个文件、数据块组织在一起造成一个残缺的文件。例如咱们常见的 .apk，.ipa，.sketch，都是 ZIP 文件。通常程序是这样创立 ZIP 文件的：
- 压缩单个文件造成单文件数据块；
- 在数据块前后增加文件形容信息；
- 对每个待压缩的文件反复以上步骤后，拼接所有数据造成更大的数据块；
提取所有文件形容信息，生成一份「文件目录」，附在最初一个数据块的尾部。
咱们将文件前部形容信息称为 Local File Header，文件后部形容信息称为 Data Descriptor, 被压缩的文件自身称为 File Data，将最初的文件目录称为 Central Directory。以上所有合在一起，就是一个规范的 ZIP 文件。如下图：
一个规范的解压形式总是从读取 ZIP 文件开端开始的，咱们以解压上图的 File Data 1 为例：
- 首先在 ZIP 文件开端找到 Central Directory 数据块；
- 在 Central Directory 数据块中找到 File Header 1；
- 从 File Header 1 中读取 Local File Header 1 的偏移量和 File Data 1 的相干信息；
- 依据偏移量找到 Local File Header 1；
- 读取 Local File Header 1；
- 解密 File Data 1（如果须要）；
- 解压 File Data 1；
- 读取 Data Descriptor 1；
- 应用 File Header 1 中保留的 CRC-32 做校验步骤 7 中计算的 CRC-32，以确保解压后的数据完整性。
规范解压形式存在的有余
能够发现，规范的解压强依赖尾部的 Central Directory。当 ZIP 文件存储在 cdn 上时，哪怕咱们只想拜访其中的一个文件，也必须下载整个 ZIP 解压后才可拜访。如果 ZIP 文件有 100 MB，然而咱们只须要拜访其中的某一个 10 KB 的文件，那么下载整个 ZIP 将是对流量的微小节约。
二 优酷技术计划：ZIP 流式解压
咱们的一个初步的想法是能不能边下载边解压？
要实现这点，首先须要扭转解压形式，使其不能再依赖尾部的 Central Directory。
依据 ZIP 文件格式规范可知，除了 Central Directory，每个 File Data 头部的 Loca File Header 局部也蕴含了该文件的相干信息。
如果 Local File Header 中蕴含了充沛的信息，咱们兴许能够基于 Local File Header 去解压文件数据，其解压流程就能够变为：
- 从头开始，搜寻到 Local File Header 1；
- 读取 Local File Header 1；
- 解密 File Data 1（如果须要）；
- 解压 File Data 1；
- 读取 Data Descriptor 1；
- CRC32 的校验。
- 那么 Local File Header 里到底存储了什么？是否满足解密解压所需？
理解 Local File Header
咱们依据文档对 Local File Header 的形容，画出其二进制文件中的排列：
其中的要害信息为：
元数据签名是一个 Magic Number，用来标记接下来数据是什么内容。例如 Local File Header 的签名是 0x04034b50，用 char 示意也就是 {‘P’, ‘K’, ‘3’, ‘4’}。当读取到对应数据签名时，则意味着接下来的数据结构合乎对应元数据的定义，须要应用对应规定解析。
Compress Method 指明数据块用何种算法压缩，解压须要应用对应的算法。
Compressed Size 和 UnCompressed Size 能够帮忙确定文件的结尾地址和 Data Descriptor 的偏移量。这两个 Size 也是文件解密时 HMAC 计算的要害。
有了 Magic Number 作为元数据签名，咱们只须要逐字节遍历去匹配这个 Number，就能够找到 Loca File Header，而不再须要依赖尾部的定位信息。而且 Local File Header 中存储的元数据足够咱们决定解压算法、计算大小、校验 CRC-32 了。
还有一个问题是，解压缩算法是否反对流式解压缩？是否有特定的上下文依赖？通过理解压缩算法的原理[1]，咱们晓得，所有的压缩算法都是反对从头部开始流式解压的。
而下载方面，文件是以从头到尾间断的形式下载，这又人造地和和从头解压的形式配合，便能够初步实现边下边解！
加密 ZIP 文件的问题
所有都相当顺利，直到遇到了加密后的 ZIP 文件。加密后的 ZIP 文件的 Local File Header 中的要害信息除了签名和文件名以外，其余信息都被隐去，须要去 Central Directory 中读取。
再一次，咱们回到了依赖 Central Directory 的状态。
在失去如此多要害信息的状况下是否持续做到流式解压？咱们须要先开掘一下 ZIP 的加密形式。
ZIP 的加密形式
ZIP 文件反对多种加密形式，最常见的是 Traditional PKWARE Encryption 和 AES Encryption。
Traditional PKWARE Encryption 是 ZIP 自定义的一种基于明码的对称加密形式，每个字节的加密仅和明码无关，加密前后的数据长度不变。这种不依赖上下文的加密形式能够实现咱们须要的流式解密。
AES 加密采纳的是 CTR 模式。CTR 模式将明文分组，并生成一个计数器。应用密钥对计数器进行加密生成二进制字节流。利用这个字节流和明文进行 XOR 操作进行加密。其解密形式也是一样的。
这种形式也反对流式解密。
两种罕用的加密形式都反对流式解密，那么加解密须要的要害信息，在 Local File Header 中是否有存储就成了是否流式解密的要害。
流式解密的要害信息
无论是 Traditional PKWARE Encryption 还是 AES Encryption，在解密时都须要一些除明码之外的要害信息，例如盐值，加密算法的强度等。此外，在 AES 加密的 ZIP 文件中，Local File Header 中的 Compress Method 字段被抹去，这样咱们便无奈通晓压缩算法，因而无奈解压。
至此，问题集中为：
- Local File Header 中是否有足够的加密所需信息。
- 加密的 ZIP 文件，是否能在除 Central Directory 以外的地位找到 Compress Method 字段。
Local File Header 中加密相干的信息
ZIP 格局的设计者在设计 ZIP 文件格式的初期就提供了文件拓展能力，一些额定的拓展数据能够寄存在 Local File Header 的 Extra Field 中。ZIP AES 加密说明书 [2] 通知咱们 AES 的相干信息就寄存在这里。其要害信息如下：
原来压缩算法被藏到了 Extra Data 中。那么盐值被寄存在哪里了？答案是寄存在 File Data 的头尾。
综上，咱们找到解密所需的所有要害信息，整个流式解密解压的所有技术点都被咱们摸索完。剩下的便是按原理实现，以及细节的打磨。
三 总结
说了那么多，流式解压到底有什么价值呢？
因为流式解压实现了边下载边解压，将整个操作的时长从下载 + 解压缩变成了约等于纯下载的时长，间接抹掉理解压的耗时。在 39.1 MB 大小的 ZIP 包下载解压测试中，耗时从 9.08 秒升高至 4.17 秒，有将近 100% 的提速！同时，你能够不用期待整个 ZIP 下载解压完，而是在解压完一小部分数据的时候，就间接展现 UI。用户侧看起来就如同一瞬间就解压完了。
因而，流式解压能够利用在许多工夫敏感的操作里，也能够用来优化基于 ZIP 文件的相干业务。例如基于 ZIP 的全局换肤减速、基于 ZIP 的 Web 资源缓存加载的减速等等。前言中的优酷绘本秒开就是基于这一技术实现。
参考
[1]https://houbb.github.io/2018/11/09/althgorim-compress-althgorim-12-zip-02
[2]AES Encryption Information: Encryption Specification AE-1 and AE-2
https://www.winzip.com/win/en/aes_info.html
[3]ZIP File Format Specification
https://pkware.cachefly.net/webdocs/APPNOTE/APPNOTE-6.2.1.TXT
[4]AES Coding Tips for Developers
https://www.winzip.com/win/en/aes_tips.html