Apache sqoop是一个专门为高效在Apache hadoop和结构化数据库之间传输大规模数据的工具，可以用来在MySQL,postgresql,Oracle和HDFS之间传输数据。Sqoop开始于2012年3月份，现在是Apache的顶级项目。目前最稳定的s…

 Apache Sqoop是一种专门为hadoop和比如关系型数据库等结构化数据库之间的高效数据转换一种工具。

hive中shuffle的优化 压缩压缩可以使磁盘上存储的数据量变小，通过降低I/O来提高查询速度。 对hive产生的一系列MR中间过程启用压缩 {代码…} 对最终输出结果压缩（写到hdfs、本地磁盘的文件） {代码…}