Hadoop之完全分布式集群
作者：kocdaniel 2019-09-26 15:43:52开发架构分布式Hadoop 首先准备三台客户机（hadoop102，hadoop103，hadoop104），关闭防火墙，修改为静态ip和ip地址映射
首先准备三台客户机(hadoop102，hadoop103，hadoop104)，关闭防火墙，修改为静态ip和ip地址映射
[[278009]]
配置集群
编写集群分发脚本
- 创建一个远程同步的脚本xsync，并放到当前用户下新建的bin目录下，配置到PATH中，使得此脚本在任何目录下都可以执行脚本实现
[kocdaniel@hadoop102~]$mkdirbin[kocdaniel@hadoop102~]$cdbin/[kocdaniel@hadoop102bin]$vimxsync
在文件中编写如下脚本代码
#!/bin/bash#1获取输入参数个数，如果没有参数，直接退出pcount=$#if((pcount==0));thenechonoargs;exit;fi#2获取文件名称p1=$1fname=`basename$p1`echofname=$fname#3获取上级目录到绝对路径–P指向实际物理地址，防止软连接pdir=`cd-P$(dirname$p1);pwd`echopdir=$pdir#4获取当前用户名称user=`whoami`#5循环for((host=103;host<105;host++));doecho-------------------hadoop$host--------------rsync-rvl$pdir/$fname$user@hadoop$host:$pdirdone
- 修改脚本xsync具有执行权限，并调用脚本，将脚本复制到103和104节点
[kocdaniel@hadoop102bin]$chmod777xsync[kocdaniel@hadoop102bin]$xsync/home/atguigu/bin
集群配置
1.集群部署规划
由于计算机配置有限，只能使用三台虚拟机，工作环境中根据需要规划集群
2.配置集群
切换到hadoop安装目录/etc/hadoop/
配置core-site.xmlHDFS配置文件[kocdaniel@hadoop102hadoop]$vimcore-site.xml#在文件中写入如下内容<!--指定HDFS中NameNode的地址--><property><name>fs.defaultFS</name><value>hdfs://hadoop102:9000</value></property><!--指定Hadoop运行时产生文件的存储目录--><property><name>hadoop.tmp.dir</name><value>/opt/module/hadoop-2.7.2/data/tmp</value></property>
配置hadoop-env.sh
[kocdaniel@hadoop102hadoop]$vimhadoop-env.shexportJAVA_HOME=/opt/module/jdk1.8.0_144
export JAVA_HOME=/opt/module/jdk1.8.0_144
注意：我们已经在/etc/profile文件中配置了JAVA_HOME，这里为什么还需要配置JAVA_HOME?
答：因为Hadoop运行是守护进程(守护进程是一个在后台运行并且不受任何终端控制的进程。–摘自百度百科))，正是因为它后台运行，不接受任何终端控制，所以它读取不到我们配置好的环境变量，所以这里需要单独配置一下。
配置hdfs-site.xmlYARN配置文件[kocdaniel@hadoop102hadoop]$vimhdfs-site.xml#写入如下配置<!--配置副本数量为3，默认也为3，所以这个也可以删掉--><property><name>dfs.replication</name><value>3</value></property><!--指定Hadoop辅助名称节点主机配置--><property><name>dfs.namenode.secondary.http-address</name><value>hadoop104:50090</value></property>
配置yarn-env.sh
[kocdaniel@hadoop102hadoop]$vimyarn-env.shexportJAVA_HOME=/opt/module/jdk1.8.0_144
配置yarn-site.xml
MapReduce配置文件[kocdaniel@hadoop102hadoop]$viyarn-site.xml#增加如下配置<!--Reducer获取数据的方式--><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!--指定YARN的ResourceManager的地址--><property><name>yarn.resourcemanager.hostname</name><value>hadoop103</value></property>
配置mapred-env.sh
[kocdaniel@hadoop102hadoop]$vimmapred-env.shexportJAVA_HOME=/opt/module/jdk1.8.0_144
配置mapred-site.xml
#如果是第一次配置的话，需要先将mapred-site.xml.template重命名为mapred-site.xml[kocdaniel@hadoop102hadoop]$cpmapred-site.xml.templatemapred-site.xml[kocdaniel@hadoop102hadoop]$vimmapred-site.xml#在文件中增加如下配置<!--指定MR运行在Yarn上--><property><name>mapreduce.framework.name</name><value>yarn</value></property>
3.将配置好的文件利用集群分发脚本同步到hadoop103和hadoop104节点
最好在同步完成之后检查一下同步结果，避免错误[kocdaniel@hadoop102hadoop]$xsync/opt/module/hadoop-2.7.2/
单点启动
1.如果是第一次启动，需要格式化namenode，否则跳过此步
格式化需要注意的问题：[kocdaniel@hadoop102hadoop-2.7.2]$hadoopnamenode-format
- 只有第一次启动需要格式化，以后不要总是格式化，否则会出现namenode和datanode的集群id不一致的情况，导致datanode启动失败正确的格式化姿势：
2.在hadoop102上启动namenode
[kocdaniel@hadoop102hadoop-2.7.2]$hadoop-daemon.shstartnamenode[kocdaniel@hadoop102hadoop-2.7.2]$jps3461NameNode
3.在hadoop102、hadoop103以及hadoop104上分别启动DataNode
[kocdaniel@hadoop102hadoop-2.7.2]$hadoop-daemon.shstartdatanode[kocdaniel@hadoop102hadoop-2.7.2]$jps3461NameNode3608Jps3561DataNode[kocdaniel@hadoop103hadoop-2.7.2]$hadoop-daemon.shstartdatanode[kocdaniel@hadoop103hadoop-2.7.2]$jps3190DataNode3279Jps[kocdaniel@hadoop104hadoop-2.7.2]$hadoop-daemon.shstartdatanode[kocdaniel@hadoop104hadoop-2.7.2]$jps3237Jps3163DataNode
4.访问hadoop102:50070查看结果
但是以上单点启动有一个问题：每次都一个一个节点启动，如果节点数增加到1000个怎么办?
配置ssh免密登录
1.配置ssh
ssh 另一个节点的ip 就可以切换到另一台机器，但是得输入密码
2.免密ssh配置
免密登录原理
在配置namenode的主机hadoop102上生成私钥和公钥
切换目录到/home/用户名/.ssh/
[kocdaniel@hadoop102.ssh]$ssh-keygen-trsa
同样，在配置resourcemanager的主机hadoop103上执行同样的操作，然后就可以群起集群了-然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）-将公钥拷贝到要免密登录的目标机器上```shell[kocdaniel@hadoop102.ssh]$ssh-copy-idhadoop103[kocdaniel@hadoop102.ssh]$ssh-copy-idhadoop104#注意：ssh访问自己也需要输入密码，所以我们需要将公钥也拷贝给102[kocdaniel@hadoop102.ssh]$ssh-copy-idhadoop102```
群起集群
1.配置slaves
切换目录到：hadoop安装目录/etc/hadoop/在目录下的slaves文件中添加如下内容同步所有节点的配置文件[kocdaniel@hadoop102hadoop]$vimslaves#注意结尾不能有空格，文件中不能有空行hadoop102hadoop103hadoop104
[kocdaniel@hadoop102hadoop]$xsyncslaves
2.启动集群
同样，如果是第一次启动，需要格式化启动HDFS启动YARN[kocdaniel@hadoop102hadoop-2.7.2]$sbin/start-dfs.sh#查看启动结果，和集群规划（配置文件中）的一致[atguigu@hadoop102hadoop-2.7.2]$jps4166NameNode4482Jps4263DataNode[atguigu@hadoop103hadoop-2.7.2]$jps3218DataNode3288Jps[atguigu@hadoop104hadoop-2.7.2]$jps3221DataNode3283SecondaryNameNode3364Jps
#注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动YARN，应该在ResouceManager所在的机器上启动YARN[kocdaniel@hadoop103hadoop-2.7.2]$sbin/start-yarn.sh
3.web端查看相关信息