点击下载
本文文档

当前位置：首页 - 科技 - 知识百科 - 正文

搭建yarn(hadoop-2.2.0)环境详细过程

来源：动视网责编：小采时间：2020-11-09 13:07:28

搭建yarn(hadoop-2.2.0)环境详细过程

搭建yarn(hadoop-2.2.0)环境详细过程:磨刀不误砍柴工，在这里我们先了解一个问题： MapReduce和YARN是什么关系？答：YARN并不是下一代MapReduce（MRv2），下一代MapReduce与第一代MapReduce（MRv1）在编程接口、数据处理引擎（MapTask和ReduceTask）是完全一样的，可认为MRv

推荐度：

点击下载本文 文档为doc格式

导读搭建yarn(hadoop-2.2.0)环境详细过程:磨刀不误砍柴工，在这里我们先了解一个问题： MapReduce和YARN是什么关系？答：YARN并不是下一代MapReduce（MRv2），下一代MapReduce与第一代MapReduce（MRv1）在编程接口、数据处理引擎（MapTask和ReduceTask）是完全一样的，可认为MRv

步骤二：配置环境变量

在这里我自己没有将环境全局化所以在hadoop-2.2.0中没有配置系统环境/etc/profile
如果配置，执行执行source /etc/profile，使之生效。

步骤三：core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml配置

接下来我们的具体配置就是/home/hadoop/yarn/hadoop-2.2.0/etc/hadoop目录中进行。

core-site.xml配置


 
 fs.default.name
 hdfs://localhost:9000
 指定NameNode的IP地址和端口号

hdfs-site.xml


 
 dfs.replication
 2
 备份数
 
 
 dfs.namenode.name.dir
 file:/home/hadoop/yarn/yarn_data/hdfs/namenode
 
 
 dfs.datanode.data.dir
 file:/home/hadoop/yarn/yarn_data/hdfs/datanode

mapred-site.xml


  
 mapreduce.framework.name 
 yarn 
 
 
 mapreduce.jobhistory.address
 localhost:10020
 
 
 mapreduce.jobhistory.webapp.address
 localhost:19888

yarn-site.xml




　　yarn.resourcemanager.address
　　localhost:8032


　　yarn.resourcemanager.scheduler.address
　　localhost:8030


　　yarn.resourcemanager.resource-tracker.address
　　localhost:8031
 

　　yarn.resourcemanager.admin.address
　　localhost:8033
 

　　yarn.resourcemanager.webapp.address
　　localhost:8088
 
 
yarn.nodemanager.aux-services 
mapreduce_shuffle 
 
 
yarn.nodemanager.aux-services.mapreduce.shuffle.class 
org.apache.hadoop.mapred.ShuffleHandler

步骤四：slaves配置

因为是伪分布式，所以我们只有localhost

步骤五：将配置好的hadoop-2.2.0分发同步到各个数据节点

因为是伪分布式，这步跳过。

步骤六：格式化NameNode

执行命令：

bin/hdfs namenode –format

或者

bin/hadoop namenode –format

步骤七：启动hdfs和yarn

启动hdfs:

sbin/start-dfs.sh

启动yarn:

sbin/start-yarn.sh

或者可以执行

sbin/start-all.sh

一起启动hdfs和yarn。

另外还要启动history服务，不然在面板中不能打开history链接。

sbin/mr-jobhistory-daemon.sh start historyserver

下面使用jps命令查看启动进程：

4504 ResourceManager
4066 DataNode
4761 NodeManager
5068 JobHistoryServer
4357 SecondaryNameNode
3833 NameNode
5127 Jps

步骤八：测试

hdfs测试：

在hdfs中创建文件：bin/hadoop fs -mkdir /wordcount
向hdfs中上传文件：bin/hadoop fs /home/hadoop/file2.txt /wordcount
查看hdfs文件目录：hdfs dfs –ls /

Yarn测试：运行WordCount测试程序，

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /wordcount /output2

具体查看结果：

bin/hadoop fs -cat /output2/*

结果显示：

hadoop 1
hello 2
java 4
jsp 1

到这里，hadoop-2.2.0环境搭建结束，配置文件根据具体需求，具体配置。可能有配置不当的地方，若有看到还望指正。

原文地址：搭建yarn(hadoop-2.2.0)环境详细过程, 感谢原作者分享。

搭建yarn(hadoop-2.2.0)环境详细过程

推荐度：

点击下载本文 文档为doc格式

标签：过程详细环境

热门焦点

搭建yarn(hadoop-2.2.0)环境详细过程

搭建yarn(hadoop-2.2.0)环境详细过程

搭建yarn(hadoop-2.2.0)环境详细过程

最新推荐

猜你喜欢

热门推荐