Hadoop中jobhistory的配置与启动停止

jobhistory配置

  1. 在yarn-site.xml中添加
    1
    2
    3
    4
    5
    <!-- 开启日志聚合 -->
    <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    </property>
  1. 在mapred-site.xml中添加
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
<!-- 设置jobhistoryserver 没有配置的话 history入口不可用 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>localhost:10020</value>
</property>

<!-- 配置web端口 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>localhost:19888</value>
</property>

<!-- 配置正在运行中的日志在hdfs上的存放路径 -->
<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>/history/done_intermediate</value>
</property>

<!-- 配置运行过的日志存放在hdfs上的存放路径 -->
<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/history/done</value>
</property>

jobhistory的启动与停止

  1. 启动: 在hadoop/sbin/目录下执行
    ./mr-jobhistory-daemon.sh start historyserver

  2. 停止:在hadoop/sbin/目录下执行
    ./mr-jobhistory-daemon.sh stop historyserver

-------------End Of This ArticleThank You For Reading-------------