如图1所示在官网上下载的Hadoop的压縮包,然后解压到某一路径下(我解压到了/soft/hadoop)
如图1所示在官网上下载的Hadoop的压縮包,然后解压到某一路径下(我解压到了/soft/hadoop)
本人是在windows上使用的Eclipse所以请先保證机器上已经有了如下环境:
上面两个需要自行去下载文件,并且在系统中添加环境变量
按照上面的步骤完成之後会在Eclipse的中央下方的位置有一个MadRedece Locations 选择它,新建一个:
这里有个类似新建主机联系的地方:
Location name: 这里是本地的连接名叫什么无所谓
Port: 这里写你的集群端口
在Eclipse当中新建工程,就像你平时做的一样:
记住选择MapReduce
接着在创建的工程下创建一个class这里的代码就是我们需要用到的WorcCount代码:
峩用的是官网的代码:
其中选择我们刚刚创建的Class,
填入对应的HDFS, input 文件夹和当中的LICENSE.txt都是我们给他的!
完成后RUN!
打开文件后发现这个东西:
JAVA_HOME指姠出错,环境出了问题修改:
windows的用户,权限不够导致的
在集群中的namenode下运行:
在刚才新建的工程中没有添加日志信息:
在你的hdfs中删除output文件夹,mapreduce都是自己生成输出文件不允许自己建!
这个问题困扰了我很久,至今没有想明白在老外的stackover上有对应的讨论:
GIt上下载对应版本的bin,替换自己的再次运行就可以:
在虚拟机中的Linux中配置好Hadoop之后,我们想要在windows下管理hadoop那么需要在windows环境下访问虚拟机下嘚hadoop应用程序,但是在访问的时候
一种可能是hadoop没有正常启动有错误,这样就的正确的查看hadoop启动时在哪一步出错,
另一种可能就是防火墙沒有关闭没有开放50070或者50030端口
我们假设hadoop应用正常启动,而且在虚拟机的Linux下访问没有问题但是就是在windows下访问有问题
首先我们查看下Linux中防火牆的状态
如果不行,那就启用终极杀手锏
点击centos中左上角的应用程序
选择杂项--》选择防火墙--》选择public(默认选择)--》选择端口标签--》添加
版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。