Spark-History-Server配置

本文是对于自己编译的 Spark 部署，如果是 CDH 集成的 Spark 则可直接在管理界面中查看。

1. 在 hdfs 中创建一个目录，用于保存 Spark 运行日志信息。

]$ hdfs dfs -mkdir /spark/historylog

2. 配置 spark conf，使 Spark History Server 从此目录中读取日志信息

]$ vim spark-defaults.conf
spark.eventLog.compress          true
spark.eventLog.dir               hdfs://nameservice1/spark/historylog
spark.yarn.historyServer.address hadoop002:18080

其中 spark.eventLog.dir 保存日志相关信息的路径，可以是 hdfs:// 开头的 HDFS 路径，也可以是 file:// 开头的本地路径，都需要提前创建。

3. 添加环境参数

]$ vim spark-env.sh
    export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://mycluster/spark/historylog \
    -Dspark.history.ui.port=18080 \
    -Dspark.history.retainedApplications=20"

4. 启动服务

]# ./sbin/start-history-server.sh