Hadoop集群安装

第一部分：环境规划

•用户 test 密码 test

•机器

•/home/test/dfs/namenode

•DataNode 数据存放目录

•/home/test/dfs/datanode

•Sencondary NameNode

•/home/test/dfs/sencondnode

第二部分：安装JDK并配置环境变量

安装 JDK 并配置环境变量

•2 台机器做同样的事情

•更改执行权限

•chmod +x jdk-6u24-linux-i586.bin

•安装

•./jdk-6u24-linux-i586.bin

•配置环境变量

•Home路径下，打开.bashrc文件，命令如下

•vi .bashrc

•添加JAVA环境变量

•export JAVA_HOME=/home/hadoop/java

•export PATH=$JAVA_HOME/bin:$PATH

第三部分：建立互信配置SSH

配置互信

每台机器上执行

$ ssh-keygen

$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   bigdata -1

$ ssh-copy-id   -i   ~/.ssh/id_rsa.pub   bigdata-2

第四部分：安装Hadoop并配置环境变量

安装并配置Hadoop的环境变量

•解压Hadoop，到/home/test路径下

• tar zxvf hadoop-1.0.0.tar.gz

•建立软连接

•ln –s   hadoop-1.0.0  hadoop

•配置环境变量

•vi  .bashrc

•添加如下内容

          export HADOOP_CORE_HOME=/home/test/ hadoop

          export PATH=.:$HADOOP_CORE_HOME/bin:$PATH

第五部分：配置Hadoop集群

core-site.xml

fs.default.name

hdfs://bigdata-1:9000

fs.checkpoint.dir

        /home/test/dfs/sencondnode

hdfs-site.xml

            dfs.name.dir

     /home/test/dfs/namenode

             dfs.data.dir

             >/home/test/dfs/datanode

      dfs.replication

        1

mapred-site.xml

  mapred.job.tracker

  bigdata-1:9001

master与slaves

•master

     文件添加内容如下

                   bigdata-1

•    Slaves

     文件添加内容如下

                    bigdata-2

Hadoop-env.sh

•export JAVA_HOME=/home/tes/soft/java

第六部分：启动Hadoop集群

启动Hadoop集群

•hadoop namenode -format

•start-all.sh

•start-dfs.sh start-mapred.sh

•hadoop-deamon.sh start  namenode

                                              datanode

                                              jobtracker

                                              tasktracker

                                              sencondnamenode

第七部分：测试WordCount 程序 

测试WordCount 程序

•hadoop fs –mkdir input

•hadoop fs –put test.txt input

•hadoop jar  hadoop-examples-*.jar   wordcount  input output