适用范围
本文涉及到的配置项主要针对 Hadoop 2.x，Spark 2.x。
MapReduce
官方文档
https://hadoop.apache.org/doc…
左下角: mapred-default.xml
配置项举例
- mapreduce.job.reduce.slowstart.completedmaps
当 Map Task 完成的比例达到该值后才会为 Reduce Task 申请资源
- mapreduce.output.fileoutputformat.compress
MapReduce Job 的结果输出需要使用压缩
Spark
官方文档
https://spark.apache.org/docs…
最后有提到想要直接配置 Hadoop 项，在 Hadoop 配置项前加 spark.hadoop 即可。
Custom Hadoop/Hive Configuration
配置项示例
- spark.dynamicAllocation.enabled
是否动态分配内存（Spark 原生配置项）
- spark.hadoop.mapreduce.output.fileoutputformat.compress
Job 的结果输出是否使用压缩（Hadoop MR 配置项）
本文出自: walker snapshot