Hadoop中间结果lzop压缩

38次阅读

共计 251 个字符，预计需要花费 1 分钟才能阅读完成。

为了节省磁盘空间，文件的存储往往需要压缩，有的需要压缩比大，有的需要压缩速度快。而对于一套计算的结果存储，如多个 MapReduce 之间，需要能支持分片的压缩方式。lzop 就是个可以支持分片的压缩方式，非常适合用于多个 MapReduce 之间的计算中间结果存储。