yarn配置

作者：Zhan-bin

日期：2018-6-30

配置环境

• 我这里的环境是
  系统：CentOS 7 minimal
  hadoop版本：hadoop2.9.1

配置过程

1.配置计算调度系统Yarn和计算引擎Map/Reduce

2.namenode上配置mapred-site.xml (刚开始只有mapred-site.xml.template文件，将其重命名为mapred-site.xml即可)

1
2
3
4

cd /home/hadoop/hadoop #进入hadoop安装目录
cd ./etc/hadoop #进入配置文件目录
mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml

在文件最后configuration内添加如下内容：

1
2
3
4

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

3.yarn-site.xml的配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
</property>
 
<property>  
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value>  
</property>  
 
<property>
    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

4.启动yarn集群start-yarn.sh

5.jps观察启动结果

6.可以使用yarn-daemon.sh单独启动resourcemanager和nodemanager

7.通过网页 http://master:8088/ 观察yarn集群

8.find /usr/local/hadoop -name example.jar 查找示例文件

9.通过hadoop jar xxx.jar wordcount /input /output来运行示例程序

10.通过网页来观察该job的运行情况

11.hadoop job -kill job_id –> mapred job -kill job_id mapred job -list

12.经验：yarn-site如果是集中启动，其实只需要在管理机上配置一份即可，但是如果单独启动，需要每台机器一份，在网页上可以看到当前机器的配置，以及这个配置的来源

• ← Previous Post
• Next Post →