贪心算法——Huffman 压缩编码的实现

49次阅读

共计 2592 个字符,预计需要花费 7 分钟才能阅读完成。

1. 如何理解“贪心算法”
假设我们有一个可以容纳 100 Kg 物品的背包,可以装各种物品。我们有以下 5 种豆子,每种豆子的总量和总价值都各不相同。怎样装才能让背包里豆子的总价值最大呢?

这个问题其实很简单,我们只需要计算出每种豆子的单价,然后按照单价从高到低依次来装就好了。单价从高到低排列为:黑豆、绿豆、红豆、青豆和黄豆,因此我们往背包里装 20 Kg 黑豆、30 Kg 绿豆和 50 Kg 红豆。
实质上,这就是贪心算法的思想,用贪心算法解决问题的步骤一般是这样的。
第一步,当我们看到这类问题的时候,首先要联想到贪心算法。针对一组数据,我们定义了限制值和期望值,希望选出几个数据,在满足限制值的情况下,期望值最大。在刚才的问题中,限制值就是重量不超过 100 Kg,期望值就是豆子总价值。
第二步,我们尝试看下这个问题是否可以用贪心算法解决。每次选择当前情况下,在对限制值同等贡献的情况下,对期望值贡献最大的数据。上例中,就是选取单价最高的豆子,也就是重量相等情况下对总价值贡献最大的豆子。
第三步,我们举几个例子看下贪心算法产生的结果是否是最优的。大部分情况下,举几个例子验证一下就可以了,严格证明贪心算法的正确性,需要涉及比较多的数学推理,非常复杂。从时间角度来看,大部分能用贪心算法解决的问题,其正确性都是显而易见的,也不需要严格的证明。
实际上,贪心算法解决问题的思路,并不总是能给出最优解。
在下面的有权图中,我们需要找到一条从顶点 S 出发到顶点 T 的最短路径,使得路径中边的权重和最小。贪心算法的思路是每次选择一条和当前顶点连接的权重最小的边,最终答案是 S->A->E->T,权重和为 9。

但是,最优解实际上是 S->B->D->T,权重和为 6。在这个问题上,贪心算法不工作的原因主要是,前面的选择会影响后面的选择。一旦第一步选择了顶点 S 到顶点 A,第二步我们就和顶点 B、C 无关了。即使第一步最优,但是若因为这个选择后面的选择都很糟糕,那总体上也就不会取得最优解了。
2. 贪心算法实战分析
2.1. 分糖果
假设我们有 m 个糖果要分给 n 个孩子,因为糖果少孩子多(m<n),所以糖果只能分给一部分孩子。每个糖果的大小不等,每个孩子对糖果的需求也不同,只有糖果的大小大于等于孩子对糖果的需求时,孩子才能得到满足。如何分配糖果,才能尽可能地满足最多数量的孩子呢?
对于一个孩子来说,如果小的糖果可以满足,我们就没必要用更大的糖果,这样更大的糖果就可以用来满足需求更大的孩子。另一方面,对糖果需求小的孩子更容易满足,因此我们可以从需求小的孩子开始分配糖果,因为满足一个需求小的孩子和满足一个需求大的孩子,对我们结果的贡献是一样的。
所以,我们就可以从剩下的孩子中,找出一个需求最小的,然后发给他剩余糖果中能满足他需求的最小的糖果。这样的分配方案,最后就能满足最多数量的孩子。
2.2. 钱币找零
假设我们有面值分别为 1 元、2 元、5 元、10 元、20 元、50 元、100 元的钞票若干,现在要用这些钱来支付 K 元,最少要用多少张纸币呢?
在生活中,我们肯定首先用面值最大的来支付,如果不够,我们继续用更小一点面值的,以此类推,直到最后满足为止。在贡献相同期望值(纸币数量)的情况下,我们肯定希望多贡献点金额,这样就可以让纸币数更少,这就是一种贪心的思想。
2.3. 区间覆盖
假设我们有 n 个区间,区间的起始端点分别为 [l1, r1],[l2, r2],[l3, r3],……,[ln, rn]。我们从这 n 个区间中选出一部分区间,这部分区间满足两两不相交(端点相交不算),最多能选出多少个区间呢。

这个问题的解决思路是这样的,假设这 n 个区间的最左端点是 lmin,最右端点是 rmax。那么这个问题就相当于,我们选择几个不相交的区间,从左到右将 [lmin, rmax] 覆盖上。我们按照起始端点从小到大的顺序对这 n 个区间进行排序,每次选择的时候,左端点和前面已经覆盖的区间不重合而右端点又尽量小的区间,就能让剩下的未覆盖区间尽量大,从而就可以放置更多的区间。

这实际上就是一种贪心的选择方法,而且这种处理思想在任务调度、教师排课等问题中都有用到。
3. Huffman 压缩编码
假设有一个包含 1000 个字符的文件,每个字符占 1 个字节 8 位,那么存储这个文件就需要 8000 bits。如果通过统计分析我们发现这 1000 个字符只包含 6 个不同的字符,假定它们为 a, b, c, d, e, f。那我们只用 3 个二进制位就可以表示 8 个不同的字符,所以存储 1000 个字符就只需要 3000 bits 了,比原来省了很多空间。那还有没有更加节省空间的存储方式呢?
霍夫曼编码就要登场了。霍夫曼编码是一种非常有效的编码方式,广泛用于数据压缩中,其压缩率通常在 20% – 90% 之间。霍夫曼编码不仅会考察文本中有多少个不同字符,还会考察每个字符出现的频率,根据频率的不同,选择不同长度的编码。根据贪心的思想,我们可以把出现频率比较多的字符,用稍微短一点的编码,而对出现频率比较少的字符用稍微长一些的编码。
对于等长的编码来说,我们解压缩起来很简单,每次从文本中读取固定长度的二进制码,然后翻译成对应字符即可。但是,霍夫曼编码是不等长的,我们每次应该读取多少位的二进制来进行解码呢?为了避免解码过程出现歧义,霍夫曼编码要求各个字符的编码之间,不会出现某个编码是另一个编码前缀的情况。
假设这 6 个字符出现的频率从高到低依次是:a、b、c、d、e、f,我们就把它编码成下面这个样子,任何一个字符的编码都不是另一个的前缀。在解压缩的时候,我们每次会读取尽可能长的可解码的二进制串,所以也不会出现歧义。这种编码方式,存储 1000 个字符就只需要 2100 bits 了.

那霍夫曼编码是如何根据字符出现频率的不同,给不同的字符进行不同长度的编码的呢?
我们把每个字符看作一个节点,并且附带着把频率放到优先级队列中。然后,从队列中取出频率最小的两个子节点 A、B,新建一个节点 C,使其频率为 A、B 两个节点的频率之和,并把这个新节点 C 作为 A、B 节点的父节点。最后,再把 C 节点放入到优先级队列中,重复这个过程,直到队列中没有数据为止。

现在,我们给每一条边画一个权值,指向左子节点的边统统标记为 0,指向右子节点的边统统标记为 1,那么从根节点到叶节点的路径就是叶节点对应字符的霍夫曼编码。

参考资料 - 极客时间专栏《数据结构与算法之美》
获取更多精彩,请关注「seniusen」!

正文完
 0