1.选取三台服务器(CentOS系统64位)
之后嘚操作如果是用普通用户操作的话也必须知道root用户的密码因为有些操作是得用root用户操作。如果是用root用户操作的话就不存在以上问题
我是用root用户操作的。
修改三台服务器的hosts文件
在原文件的基础最后面加上:
修改完成后保存执行如下命令。
3.ssh无密码验证配置
3.1安装和启动ssh协议
我们需要两个服务:ssh和rsync
可以通过下面命令查看是否已经安装:
如果没有安装ssh和rsync,可以通过下面命令進行安装:
配置Master节点以下是在Master节点的配置操作。
1)在Master节点上生成密码对在Master节点上执行以下命令:
2)接着在Master节点上做如下配置,把id_rsa.pub追加到授权的key里面去
4)重启ssh服务,才能使刚才设置有效
5)验证无密码登录本机是否成功。
6)接下来的就是把公鑰复制到所有的Slave机器上使用下面的命令进行复制公钥:
接着配置Slave节点,以下是在Slave1节点的配置操作
1)在"/root/"下创建".ssh"文件夹,如果已經存在就不需要创建了
重复上面的5个步骤把Slave2服务器进行相同的配置。
以下是在Slave1节点的配置操作
1)创建"Slave1"自己的公钥和私钥,并把自己的公钥追加到"authorized_keys"文件中执行下面命令:
以下是在Master节点的配置操作。
配置完成后测试从Slave1到Master无密码登录
按照上面的步骤把Slave2和Master之间建立起无密码登录。这样Master能无密码验证登录每个Slave,每个Slave也能无密码验证登录到Master
3)保存后刷新配置
3)保存后刷新配置
以下是在Master节点操作:
2)解压并移动到相应目录,我习惯将软件放到/opt目录下命令如下:
3)修改相应的配置文件。
复淛template生成xml,命令如下:
6)在Master节点启动集群启动之前格式化一下namenode:
至此hadoop的完全分布式环境搭建完毕。
7)查看集群是否启动成功:
以下操作都在Master节点进行
2)解压并移动到相应目录,命令如下:
3)修改相应的配置文件
修改/etc/profie,增加如下内容:
6)在Master节点启动集群
7)查看集群是否启动成功:
一、关闭防火墙(防火墙可以以后配置)
四、为了安全创建Hadoop专门登录的用户(5台)
注意修妀Hadoop的配置文件
八、安装Hadoop,并配置(只装1台配置完成后分发给其它节点)
Hadoop运行环境变量设置 |
Yarn运行环境变量设置 |
另:JVM配置也可以这么写:
另:如果要分别配置map和reduce的JVM大小,可以这么写
#因为我的SSH登录修改了端口所以使用了 -P 6000
(4)初始化ZFCK:
创建ZNode,记录状态信息
附:Hadoop常用命令总结
附:Hadoop常用环境变量配置
版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。