cp: 无法etc获取设备信息失败怎么办'./etc/hadoop/' 的文件状态(stat): 没有那个文件或目录

1.选取三台服务器(CentOS系统64位)

     之后嘚操作如果是用普通用户操作的话也必须知道root用户的密码因为有些操作是得用root用户操作。如果是用root用户操作的话就不存在以上问题

  我是用root用户操作的。

  修改三台服务器的hosts文件

  在原文件的基础最后面加上:

  修改完成后保存执行如下命令。

3.ssh无密码验证配置

  3.1安装和启动ssh协议

  我们需要两个服务:ssh和rsync

  可以通过下面命令查看是否已经安装:

  如果没有安装ssh和rsync,可以通过下面命令進行安装:

  配置Master节点以下是在Master节点的配置操作。

  1)在Master节点上生成密码对在Master节点上执行以下命令:

  2)接着在Master节点上做如下配置,把id_rsa.pub追加到授权的key里面去

  4)重启ssh服务,才能使刚才设置有效

  5)验证无密码登录本机是否成功。

  6)接下来的就是把公鑰复制到所有的Slave机器上使用下面的命令进行复制公钥:

  接着配置Slave节点,以下是在Slave1节点的配置操作

  1)在"/root/"下创建".ssh"文件夹,如果已經存在就不需要创建了

  重复上面的5个步骤把Slave2服务器进行相同的配置。

  以下是在Slave1节点的配置操作

  1)创建"Slave1"自己的公钥和私钥,并把自己的公钥追加到"authorized_keys"文件中执行下面命令:

  以下是在Master节点的配置操作。

  配置完成后测试从Slave1到Master无密码登录

  按照上面的步骤把Slave2和Master之间建立起无密码登录。这样Master能无密码验证登录每个Slave,每个Slave也能无密码验证登录到Master

  3)保存后刷新配置

  3)保存后刷新配置

  以下是在Master节点操作:

  2)解压并移动到相应目录,我习惯将软件放到/opt目录下命令如下:

  3)修改相应的配置文件。

  复淛template生成xml,命令如下:

  6)在Master节点启动集群启动之前格式化一下namenode:

  至此hadoop的完全分布式环境搭建完毕。

  7)查看集群是否启动成功:

  以下操作都在Master节点进行

  2)解压并移动到相应目录,命令如下:

  3)修改相应的配置文件

  修改/etc/profie,增加如下内容:

  6)在Master节点启动集群

  7)查看集群是否启动成功:

}
  • JournalNode:NameNode共享editlog结点服务(如果使用NFS共享则该进程和所有启动相关配置接可省略)。

一、关闭防火墙(防火墙可以以后配置)

四、为了安全创建Hadoop专门登录的用户(5台)

注意修妀Hadoop的配置文件

八、安装Hadoop,并配置(只装1配置完成后分发给其它节点)

Hadoop运行环境变量设置

Yarn运行环境变量设置

<!--多少分钟.Trash下的CheckPoint目录会被删除,该配置服务器设置优先级大于客户端默认:0 不删除 -->

另:JVM配置也可以这么写:

另:如果要分别配置map和reduce的JVM大小,可以这么写

<!--这里RM主备结点需要單独指定,(可选)
#因为我的SSH登录修改了端口所以使用了 -P 6000
 
 

4)初始化ZFCK

创建ZNode,记录状态信息

附:Hadoop常用命令总结

附:Hadoop常用环境变量配置

}

我要回帖

更多关于 etc获取设备信息失败怎么办 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信