嵌入式LINUX系统开发教程pdf下载

hadoop集群安装和配置

一、环境（centos7）

1. 准备3台电脑（可以使用虚拟机），安装linux centos7，然后在电脑上分别安装jdk1.8.0 安装过程：http://www.3qphp.com/2017/Jgrammar_05/105.html

2. 修改三台电脑的hostname

   查看hostname

   [root@MiWiFi-R3-srv java]# hostname
   MiWiFi-R3-srv

    

   修改hostname

   [root@MiWiFi-R3-srv java]# hostname master

    

        查看hostname

        [root@MiWiFi-R3-srv java]# hostname
        master

修改这3台机器的/etc/hosts文件，在文件中添加以下内容：

192.168.31.27   master 

192.168.31.79   slave1

192.168.31.206  slave2

二、ssh免密码设置

ssh无密码登录要使用公钥余私钥，Linux下可以使用ssh-keygen生成公钥/私钥对。

设置过程参考地址：http://www.3qphp.com/linux/centos/107.html

三、hadoop安装

hadoop软件安装安装最终路径是/opt/hadoop

其实就是下载hadoop.tar.gz文件报，然后解压

在创建如下目录，存储hadoop各种数据的目录，自己创建

mkdir  /home/hadoop  

mkdir  /home/hadoop/tmp  

mkdir  /home/hadoop/var  

mkdir  /home/hadoop/dfs  

mkdir  /home/hadoop/dfs/name  

mkdir  /home/hadoop/dfs/data

四、hadoop配置，下面的配置在3个hadoop服务器中重复配置

这里以master机子为实例操作，其他两个slave1和slave2，参照master配置重复操作就可以了

1.  /opt/hadoop/etc/hadoop/core-site.xml

hadoop.tmp.dir
/home/hadoop/tmp
Abase for other temporaray directorise.

fs.default.name
hdfs://master:9000

2. /opt/hadoop/etc/hadoop/hadoop-env.sh

         修改/opt/hadoop/etc/hadoop/hadoop-env.sh文件

         将export   JAVA_HOME=${JAVA_HOME}         

       修改为：

         export   JAVA_HOME=/usr/java/jdk1.8.0_131

        说明：修改为自己的JDK路径

3. /opt/hadoop/etc/hadoop/hdfs-site.xml

   dfs.name.dir
   /home/hadoop/dfs/name
   Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.


   dfs.data.dir
   /home/hadoop/dfs/data
   Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.


   dfs.replication
   2



说明：dfs.permissions配置为false后，可以允许不要检查权限就生成dfs上的文件，方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true。

4. /opt/hadoop/etc/hadoop/mapred-site.xml

在该版本中，有一个名为mapred-site.xml.template的文件，复制该文件，然后改名为mapred-site.xml

修改这个新建的mapred-site.xml文件，在节点内加入配置:

 
   mapred.job.tracker
   master:49001


      mapred.local.dir
       /home/hadoop/var


       mapreduce.framework.name
       yarn

5. /opt/hadoop/etc/hadoop/slaves

删除里面的localhost添加如下
slave1
slave2

6. /opt/hadoop/etc/hadoop/yarn-site.xml


        yarn.resourcemanager.hostname
        slave2
   

   
        The address of the applications manager interface in the RM.
        yarn.resourcemanager.address
        ${yarn.resourcemanager.hostname}:8032
   

   
        The address of the scheduler interface.
        yarn.resourcemanager.scheduler.address
        ${yarn.resourcemanager.hostname}:8030
   

   
        The http address of the RM web application.
        yarn.resourcemanager.webapp.address
        ${yarn.resourcemanager.hostname}:8088

   

   
        The https adddress of the RM web application.
        yarn.resourcemanager.webapp.https.address
        ${yarn.resourcemanager.hostname}:8090
   

   
        yarn.resourcemanager.resource-tracker.address
        ${yarn.resourcemanager.hostname}:8031
   

   
        The address of the RM admin interface.
        yarn.resourcemanager.admin.address
        ${yarn.resourcemanager.hostname}:8033
   

   
        yarn.nodemanager.aux-services
        mapreduce_shuffle
   

   
        yarn.scheduler.maximum-allocation-mb
        1048
        每个节点可用内存,单位MB,默认8182MB
   

   
        yarn.nodemanager.vmem-pmem-ratio
        2.1
   
   
        yarn.nodemanager.resource.memory-mb
        1048
	 
   
        yarn.nodemanager.vmem-check-enabled
        false

五、启动hadoop

首先对master初始化

提示如下说明正确

启动：hadoop

[root@master]# /opt/hadoop/sbin/start-dfs.sh
[root@master]# /opt/hadoop/sbin/start-yarn.sh

转载请注明：谷谷点程序 » 大数据 Linux centos7 hadoop 安装和配置