​ 成长这一路就是懂得闭嘴努力，知道低调谦逊，学会强大自己，在每一个值得珍惜的日子里，拼命去成为自己想成为的人

Hadoop 配置日志聚集

应用场景

为了让应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上，有了日志之后就可以查看程序中的报错信息，从而调试程序

配置步骤

1. 配置 yarn-site.xml

<!-- 日志聚集功能使能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<!-- 日志保留时间设置 7 天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

2. 重启集群

sbin/stop-yarn.sh
sbin/stop-dfs.sh
sbin/mr-jobhistory-daemon.sh stop historyserver

sbin/start-dfs.sh
sbin/start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver

3. 运行程序

上传数据到 HDFS

赋给文件权限

运行程序

查看运行结果

4. 查看日志

相关资料

本文配套 GitHub：https://github.com/zhutiansam…

本文配套公众号：FocusBigData

回复【大数据面经】【大数据面试经验】【大数据学习路线图】会有惊喜哦