怎么在cdh下开发hadoop cdh版本下载

8094人阅读
开源(14)
工欲善其事,必先利其器,啥都不说,hadoop下载:& 选择好相应版本搞起
在本文讲述的是 围绕hadoop-2.3.0-cdh5.1.2版本安装过程。(安装环境为自己在VMWare 10里面搭建的三台linux 虚拟机)
1、hadoop 是大apache开源的分布式离线计算框架,语言:java,既然这样,要想搭建hadoop环境(不管伪分布式 还是多机集群),那必须在服务器上安装好jdk。
&&&&& 简单过程简单说,简要描述下jdk安装配置过程(据说,hadoop-2.3.0需要jdk1.7+版本支持,咱也不管了,那就装吧,版本:jdk-7u67-linux-i586.tar.gz,安装新jdk之前记得找到linux自带的jdk版本并删除,不明白处自百之)
&&&&&&&&&&& a、解压到/usr/java目录下
&&&&&&&&&&&&&&&&&&&&&&& tar& xvf&jdk-7u67-linux-i586.tar.gz& -C /usr/java
&&&&&&&&&&& b、 vi /etc/profile
&&&&&&&&&&&&&&&&&&&&&&& export & JAVA_HOME=/usr/java/jdk1.7.0_67
&&&&&&&&&&&&&&&&&&&&&&& export & CLASSPATH=/usr/java/jdk1.7.0_67/lib
&&&&&&&&&&&&&&&&&&&&&&& export & PATH=$JAVA_HOME/bin:$PATH
&&&&&&&&&&& c、source /etc/profile&//不重启服务器情况下,这句让配置文件生效
&&&&&&&&&&& d、java -version& //验证jdk是否正确安装
2、我们先规划好三台机,并制定好 三台机之后的角色:
主机名 & &ip & & & & & & & & & & & & & &角色
master &192.168.140.128 & &NameNode & &ResourceManager
slave1 &&192.168.140.129 & &DateNode & & NodeManager
slave2 & &192.168.140.130 & &DateNode & & NodeManager
3、修改 主机名:
&&&&& root 权限下:vi /etc/sysconfig/network
&&&&& 修改内容:HOSTNAME=master&(同理 两台slave主机也要修改此配置,并分配相应的名字)
&&&&& 同时&vi &/etc/hosts&&&&&&&&&&( 同理 两台slave主机也要修改此配置,并分配相应的hosts对应关系)&&&
&&&&&&&&&& <span style="color:#FF.0.1 master
&&&&&&&&&& 192.168.140.129&slave1
&&&&&&&&&& 192.168.140.130&slave2
&&&&& 修改完重启:reboot
4、建立hadoop用户(包括两台slave):
&&&&&& &&useradd&hadoop&&
&&&&& &&passwd&hadoop&
5、master上配置SSH免密码登录
&& su &hadoop& //切换到hadoop用户目录下
&& ssh-keygen-t rsa(一路回车 生成密钥)
&& cd/home/hadoop/.ssh/
&& &ls& //查看是否有生成两个文件&id_rsa.pub id_rsa
6、同步ssh信息到两台slave,& 登录两台slave
&&&&& mkdir /home/hadoop/.ssh
&&&&& scp &id_rsa.pub&hadoop@slave1:/home/hadoop/.ssh/&
&&&&& mv id_rsa.pub authorized_keys
7、新建hadoop安装目录& (root权限下操作)
&&&&& mkdir -p /data/hadoop
8、&解压下载下来的hadoop安装包到安装目录(root权限下操作)
&&&&& tar xvf hadoop-2.3.0-cdh5.1.2.tar.gz -C/data/hadoop
9、将安装目录权限赋予给 hadoop用户:(root权限下操作)
&&&&& chown -R hadoop.hadoop /data/hadoop/
10、配置hadoop安装信息和路径(root权限下操作)
&&&&& vi /etc/profile (在最后加上下面内容)
&&&&&&&&&& export HADOOP_HOME=/data/hadoop
&&&&&&&&&& export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
&&&&& source /etc/profile& //让配置生效
11、master上/data/hadoop/etc/hadoop
&&&&& vi slaves
&&&&&&&&&& slave1
&&&&&&&&&& slave2
&&&&& vi masters
&&&&&&&&&& master
12、修改如下几个文件,并在中间添加以下相应内容:
a、vi core-site.xml
&configuration&
&&&&&&& &property&
&&&&&&&&&&&&&& &name&fs.defaultFS&/name&
&&&&&&&&&&&&&& &value&hdfs://master:9000&/value&
&&&&&&& &/property&
&&&&&&& &property&
&&&&&&&&&&&&&& &name&io.file.buffer.size&/name&
&&&&&&&&&&&&&& &value&131072&/value&
&&&&&&& &/property&
&&&&&&& &property&
&&&&&&&&&&&&&& &name&hadoop.tmp.dir&/name&
&&&&&&&&&&&&&& &value&file:/data/hadoop/tmp&/value&
&&&&&&& &/property&
&/configuration&
b、vi hdfs-site.xml&
&configuration&
&&&&&&& &property&
&&&&&&&&&&&&&& &name&dfs.namenode.name.dir&/name&
&&&&&&&&&&&&&& &value&file:/data/hadoop/dfs/name&/value&
&&&&&&& &/property&
&&&&&&& &property&
&&&&&&&&&&&&&& &name&dfs.namenode.data.dir&/name&
&&&&&&&&&&&&&& &value&file:/data/hadoop/dfs/data&/value&
&&&&&&& &/property&
&&&&&&& &property&
&&&&&&&&&&&&&& &name&dfs.replication&/name&&&&
&&&&&&&&&&&&&& &value&2&/value&&
&&&&&&& &/property&
&/configuration&
c、vi yarn-site.xml
&configuration&
&&&&&&& &property&
&&&&&&&&&&&&&& &name&yarn.resourcemanager.address&/name&
&&&&&&&&&&&&&& &value&master:8032&/value&
&&&&&&& &/property&
&&&&&&& &property&
&&&&&&&&&&&&&& &name&yarn.resourcemanager.scheduler.address&/name&
&&&&&&&&&&&&&& &value&master:8030&/value&
&&&&&&& &/property&
&&&&&&& &property&
&&&&&&&&&&&&&& &name&yarn.resourcemanager.resource-tracker.address&/name&
&&&&&&&&&&&&&& &value&master:8031&/value&
&&&&&&& &/property&
&&&&&&& &property&
&&&&&&&&&&&&&& &name&yarn.resourcemanager.admin.address&/name&
&&&&&&&&&&&&&& &value&master:8033&/value&
&&&&&&& &/property&
&&&&&&& &property&
&&&&&&&&&&&&&& &name&yarn.resourcemanager.webapp.address&/name&
&&&&&&&&&&&&&& &value&master:8088&/value&
&&&&&&& &/property&
&&&&&&& &property&
&&&&&&&&&&&&&& &name&yarn.nodemanager.aux-services&/name&
&&&&&&&&&&&&&& &value&mapreduce_shuffle&/value&
&&&&&&& &/property&
&&&&&&& &property&
&&&&&&&&&&&&&& &name&yarn.nodemanager.aux-services.mapreduce.shuffle.class&/name&
&&&&&&&&&&&&&& &value&org.apache.hadoop.mapred.ShuffleHandler&/value&
&&&&&&& &/property&
&/configuration&
d、mapred-site.xml
&configuration&
&&&&&&& &property&
&&&&&&&&&&&&&& &name&mapreduce.framework.name&/name&
&&&&&&&&&&&&&& &value&yarn&/value&
&&&&&&& &/property&
&&&&&&& &property&
&&&&&&&&&&&&&& &name&mapreduce.jobhistory.address&/name&
&&&&&&&&&&&&&& &value&master:10020&/value&
&&&&&&& &/property&
&&&&&&& &property&
&&&&&&&&&&&&&& &name&mapreduce.jobhistory.webapp.address&/name&
&&&&&&&&&&&&&& &value&master:19888&/value&
&&&&&&& &/property&
&/configuration&
至此 配置文件基本配置完毕。
13、将master上的hadoop安装文件同步到slave1 slave2,(hadop用户权限下即可)
&&&&& cd /data/hadoop
&&&&& scp -r /data/hadoop/*hadoop@slave1:/data/hadoop/&&&&&&&& //同步到slave1
&&&&& scp -r /data/hadoop/*hadoop@slave2:/data/hadoop/& &&&&&&&//同步到slave2
14、最后我们来到 /data/hadoop/bin目录下
&&&&& ./hadoop namenode -format&& //启动hadoop
15、如果没有报错信息,基本是可以说 hadoop起来了,随便截取了最后几段日志:
15/01/13 18:08:10 INFO util.GSet:VM type&&&&&& = 32-bit
15/01/13 18:08:10 INFO util.GSet:0.25% max memory 966.7 MB = 2.4 MB
15/01/13 18:08:10 INFO util.GSet:capacity&&&&& = 2^19 = 524288 entries
15/01/13 18:08:10 INFOnamenode.FSNamesystem: dfs.namenode.safemode.threshold-pct = 0.6033
15/01/13 18:08:10 INFOnamenode.FSNamesystem: dfs.namenode.safemode.min.datanodes = 0
15/01/13 18:08:10 INFOnamenode.FSNamesystem: dfs.namenode.safemode.extension&&&& = 30000
15/01/13 18:08:10 INFOnamenode.FSNamesystem: Retry cache on namenode is enabled
15/01/13 18:08:10 INFOnamenode.FSNamesystem: Retry cache will use 0.03 of total heap and retry cacheentry expiry time is 600000 millis
15/01/13 18:08:10 INFO util.GSet:Computing capacity for map NameNodeRetryCache
15/01/13 18:08:10 INFO util.GSet:VM type&&&&&& = 32-bit
15/01/13 18:08:10 INFO util.GSet:0.447746% max memory 966.7 MB = 297.0 KB
15/01/13 18:08:10 INFO util.GSet:capacity&&&&& = 2^16 = 65536 entries
15/01/13 18:08:10 INFOnamenode.AclConfigFlag: ACLs enabled? false
Re-format filesystem in StorageDirectory /data/hadoop/dfs/name ? (Y or N) Y
15/01/13 18:08:17 INFOnamenode.FSImage: Allocated new BlockPoolId:BP-7.0.0.1-0
15/01/13 18:08:17 INFOcommon.Storage: Storage directory /data/hadoop/dfs/name has been successfullyformatted.
15/01/13 18:08:18 INFOnamenode.NNStorageRetentionManager: Going to retain 1 images with txid &= 0
15/01/13 18:08:18 INFOutil.ExitUtil: Exiting with status 0
15/01/13 18:08:18 INFOnamenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting downNameNode at master/127.0.0.1
************************************************************/
程序员干久了,性&#26684;沉闷,言辞干瘪,简单的描述只为做个记录,多多指教。
参考知识库
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
访问:508684次
积分:6125
积分:6125
排名:第2896名
原创:153篇
转载:11篇
评论:106条
(1)(1)(1)(1)(1)(1)(1)(7)(10)(14)(6)(42)(10)(6)(20)(34)(8)Cloudera Manager、CDH零基础入门、线路指导
Cloudera Manager、CDH零基础入门、线路指导
[摘要:本帖末了由 pig2 于
12:42 编纂 题目导读: 1.甚么是cloudera CM 、CDH? 2.CDH、CM有哪些版本? 3.CDH、CM有哪些装置体式格局? 4.CDH若何开辟? 我们晓得cloudera CDH 是为简化hadoop的装置,也对]
本帖最后由 pig2 于
12:42 编辑
问题导读:
1.什么是cloudera CM 、CDH?
2.CDH、CM有哪些版本?
3.CDH、CM有哪些安装方式?
4.CDH如何开发?
我们知道cloudera CDH 是为简化hadoop的安装,也对对hadoop做了一些封装。那么我们就像尝试学习cloudera。 cloudera本质hadoop的封装,那么学起来,应该不难。不就是下载下来,然后自动安装,最后管理hadoop生态系统的一些服务。 的确是这样的,但是也没有我们想象的那么简单。
那么我们就开始第一步吧,第一步之前,那就是你的基础,这个是很关键的,如果不会使用Linux,那么你需要看一下另外一篇文章: 零基础学习hadoop到上手工作线路指导(初级篇) 。可以看看Linux的基础知识模块。需要掌握的内容还是不少的:
集群搭建:主机宽带拨号上网,虚拟机使用桥接模式,该如何ping通外网
集群搭建必备:虚拟机之一实现Host-only方式上网
集群搭建必备:nat模式设置静态ip,达到上网与主机相互通信
云技术基础:学习hadoop使用零基础linux(Ubuntu)笔记
搭建集群必知:Linux常用命令及修改文件总结(不断更新)
Linux网络接口ifconfig命令及认识网络接口lo
linux入门详细介绍
虚拟机安装linux网络配置资料大全
解决遇到Linux网络配置,从熟悉网络配置文件入手 (大体了解即可)
linux入门大全:包括零基础入门,Linux详细介绍
Linux重启方式init 0 init1 init 3 init 5 init 6 这几个启动级别都代表什么意思?
Ubuntu常用命令总结及修改DNS的多种方法总结
Linux关机各种关机命令总结
Linux基础必懂:eth0,eth1,eth2,lo是什么意思?
Linux掌握了,那么我们是否需要掌握虚拟机的基础知识,在搭建hadoop集群中,可以这些是必须掌握的,那么cloudera是否需要,也是需要的,这里就不在罗列了,详细参考 零基础学习hadoop到上手工作线路指导(初级篇) 。但是cloudera CM的安装比起hadoop集群的安装对硬件的要求更高。内存至少10G,为什么会这么多,如果少于10G是否可以,答案是可以的,但是后面你会遇到各种问题,或许都找不到答案。
对于cloudera-scm-server就需要至少4G的内存,cloudera-scm-agent的内存至少也需要1.5G以上。那么如果你的机器是8G的,还是很吃力的。 在安装的过程中,后面有很多的服务安装遇到问题的可能性是很大的。
hadoop是一个开源项目,所以很多公司在这个基础进行商业化,Cloudera对hadoop做了相应的改变。 Cloudera公司的发行版,我们将该版本称为CDH。 很多新手问的最多的问题是,哪个是收费的,那个是免费的。 Cloudera Express版本是免费的 Cloudera Enterprise是需要购买注册码的 更多内容:
Cloudera Hadoop什么是CDH及CDH版本介绍
CDH(Cloudera)与hadoop(apache)对比
大数据架构师基础:hadoop家族,Cloudera产品系列等各种技术
当我们学习的时候,我们该如何学习,有两种方式:第一种:先理论,后实践 第二种:先实践,后理论 上面两种方式各有各的场合,如果你要去面试、考试、搞理论思想类,第一种方式是没有问题的。因为这些都是停留在思想层面的。 对于一个编程技术人员来讲,本人觉得第二种方式更加的短平快。 上面两种方式都有些绝对,最佳的方式就是实践与理论相结合。 这里撰文一下,引用孔子的一句话 学而不思则罔 思而不学则殆 只看书,不实践,或则只倒腾部署、停留在某些问题得不到解决,但是又不去看书、百度、谷歌查找解决问题,这样也是不行的。 好了,开始我们的官网: 官网是我们学习标准,所以我们首先要记住官网地址: 主页:
/content/cloudera/en/home.html
进入官网我们可以做些什么事情: 1.提供API 2.查看部署文档 3.下载安装包 那么我们如何查找API,如何查找部署文档,如何下载安装包? 详细可以查看
cloudera(CDH)官网介绍:安装包、离线包该如何下载、官方文档等介绍
安装包下载:
同时附上各个版本包的地址: Cloudera文档汇总
/content/support/en/documentation.html
CDH4、CDH5包汇总
CM4、CM5包汇总
官网CDH5下载
/content/ ... /cdh/cdh-5-1-0.html
以前版本地址: CDH1~CDH3
http://archive-/cdh/
当我们看到安装的时候,同时也困扰着我们,我们该选择哪个安装包。 首先需要介绍下CM(Cloudera Manager)及CDH的安装方式:
CM(Cloudera Manager)有三种安装方式:
1.第一种使用cloudera-manager-installer.bin安装
这种安装方式,只要从官网下载cloudera-manager-installer.bin,然后执行这个bin文件,剩下的就是等待下载和安装。但是这个时间不是一般的长,最好吃个饭,睡个觉,最后看到还在安装过程中。此帖安装步骤及遇到问题记录很详细,可参考
Cloudera Manager5及CDH5在线(cloudera-manager-installer.bin)安装详细文档
Cloudera Manager5及CDH5安装指导(终极在线安装)
遇到的问题:
当我们安装完毕CM,那么我们就要添加主机,主机添加完毕,我们会看到安装进度:
但是并不是每个人都能看到上面进度,而是看到下面错误:
Detecting Cloudera Manager Server... Detecting Cloudera Manager Server... BEGIN host -t PTR 192.168.1.198
198.1.168.192.in-addr.arpa domain name pointer localhost.
END (0) using localhost as scm server hostname BEGIN which python /usr/bin/python END (0) BEGIN python -c ' s = socket.socket(socket.AF_INET); s.settimeout(5.0); s.connect((sys.argv[1], int(sys.argv[2]))); s.close();' localhost 7182 Traceback (most recent call last): File &&string&&, line 1, in &module& File &&string&&, line 1, in connect socket.error: [Errno 111] Connection refused END (1) could not contact scm server at localhost:7182, giving up waiting for rollback request
上面错误该如何解决: 可以使用下面方法解决:
mv /usr/bin/host /usr/bin/host.bak
2. 第二种使用rpm、yum、apt-get方式在线安装
这种安装方式,在网上看的有点眼花缭乱,可能是因为我们对yum、apt、rpm了解的不多造成的,对于Linux基础缺乏的,可以参考: yum与rpm、apt的区别:rpm的缺陷及yum的优势 ,总的来说:由于rpm依赖关系不好,所以产生了yum,而yum和apt则都是Linux的包管理工具,并且解决了包与包的依赖关系。
这里列出一些安装文档
ubuntu 12.04 安装 Cloudera Manager5及CDH5(Mysql)【添加yum源方式安装集群】
遇到问题1:内存过小
使用yum安装因为mysql的配置至少需要对Cloudera server 4G的内存,否则mysql的重启过程中,就会遇到unknown instance.
遇到问题2:界面无法访问
界面无法访问,分为两种情况
一种是Cloudera-manager-server没有完全起来
当我们运行下面命令:
如果现在,输入url,访问web,可能会是无法访问 host/ip:7180,我这里是172.16.77.60:7180
大概需要等10分钟左右,界面就可以访问了。
一种则是权限问题
所以我们初次安装尽量使用root.还有我们需要会看日志。
Linux日志的位置:
下面为server日志
下面为agent日志
同时在我们安装服务的过程中,我们还需要会查看角色日志,这样从web界面就是可以看到,因为在我们安装过程中,服务的安装没有那么顺利。 这里暂时没有截图,我们只要记住 角色日志, 在界面中找到即可。
遇到问题3: 无法找到cloudera agent客户端
我们使用下面命令安装了agent
sudo apt-get install cloudera-manager-agent cloudera-manager-daemons
当然还有很多其它需要安装,当我们的agent安装成功后,为什么我们的的界面中不能发现agent. 本来我们有三台,但是却只有一台,而且是cloudera server本地的agent
这是因为我们的在安装的过程中,agent都指向了本地localhost.
我们打开配置文件
sudo nano&&/etc/cloudera-scm-agent/config.ini
server_host为server ip地址
server_port为7180
下图 CDH 即为cloudera server的 hostname
修改完毕:
首先重启Agent
sudo service cloudera-scm-agent restart
然后重启server
sudo service cloudera-scm-server restart
这时候会发现已经生效。 更详细内容可以参考
记录cloudera Manager安装Cloudera-Scm-Agent如何指向Cloudera-Scm-Server
更多文档可以参考:
Cloudera Manager 和 CDH 4 终极安装(一)
ClouderaManager以及CHD5.1.0集群部署安装
Cloudera Manager (centos)离线安装详细介绍
CM5、CDH5安装(CDH5半自动离线安装)
Cloudera Manager 5 和 CDH5 本地(离线)安装指南
Cloudera Manager 和 CDH5 本地(离线)安装指导
3. 第三种使用是 Tarballs的方式
这种方式网上资料很少 安装的命令如下:
$ tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
这个跟hadoop的安装方式是一样的 安装的方法详细可参考:
Installation Path C - Manual Installation Using Cloudera Manager Tarballs
这里在列出官网给出的三种安装方式:
Installation Path A - Automated Installation by Cloudera Manager
Installation Path B - Manual Installation Using Cloudera Manager Packages
Installation Path C - Manual Installation Using Cloudera Manager Tarballs
如果想安装CM,这次再次强调一定要有足够的内存。并且我们安装完毕CM,一般会
4.安装失败处理
上面如果我们安装失败该如何处理:
使用 cloudera-manager-installer.bin(Parcles)安装失败后卸载cloudera
卸载 Cloudera Manager 5.1.x.和 相关软件【官网翻译:高可用】
5.目录结构:
由于我们大多采用在线安装的方式,所以出血,我们根本不知道cloudera安装在了什么位置,详细可以参考下面内容
解析Cloudera Manager内部结构、功能包括配置文件、目录位置等
亦可参考下面帖子:
卸载 Cloudera Manager 5.1.x.和 相关软件【官网翻译:高可用】
CDH安装方式:
Yum/Apt包,Tar包,RPM包,CM安装 这些包的下载,可以在上文安装包汇总中可以找到。 CDH1~CDH3
http://archive-/cdh/
CDH4~CDH5
安装文档,下面可以参考
Linux(ubuntu12.04)单节点伪分布安装CDH5.1.X及提交wordcount到yarn高可靠文档
各个版本Linux单节点伪分布安装CDH5.1.X及提交wordcount到yarn高可靠文档
Hadoop CDH5 手动安装伪分布式模式
通过CM方式安装,大多在安装CM的时候,已经安装了CDH。
安装完毕,我们还想开发提到开发,我们就想到eclipse插件,其实我们在开发过程中,插件作用就是帮助我们能够方便的看到在Linux的文件。 所以开发方式也有两种,
一种插件开发
我们如何找到eclipse插件,可以参考
cloudera CDH(5)开发方式及CDH eclipse插件编译总结
一种是无插件开发
无插件开发,也就是直接添加开发包 可以参考: hadoop开发方式总结及操作指导
先总结到此,希望大家有所收获。
有的同学反映写的不够细,这里在补充一些内容:
Cloudera Manager Server启动后又挂掉的原因总结
我们安装CDH的时候,会碰到cloudera server启动后又挂掉了,这是什么原因? 查看日志:包下面问题 可是明明已经安装jdk,并且已经设置了JAVA_HOME
java -version
也能返回版本 这是怎么回事,猜测cloudera server(5)认 oracle jdk ,对于sun jdk也需要是在线安装(至于是不识别sun jdk还未验证)。同时还必须是jdk1.7.
也就是需要执行下面命令:
sudo apt-get -o Dpkg::Options::=--force-confdef -o Dpkg::Options::=--force-confold -y install oracle-j2sdk1.7
原因是在后面执行scm-server数据库配合的时候,如果找不到Java_home可能会初始化失败。 Java_home默认安装路径如下。
/usr/lib/jvm/java-7-oracle-cloudera
从上面我们得出,如果想安装顺序,我们最好使用下面命令来安装jdk1.7
sudo apt-get -o Dpkg::Options::=--force-confdef -o Dpkg::Options::=--force-confold -y install oracle-j2sdk1.7
执行上面命令,那么还需要做下面工作:
然后我们接着执行命令:
service cloudera-scm-server restart
认为终于好了,但是不幸的是,这次坚持了不到两分钟又挂掉了。
这次为什么会挂掉,不得不查看日志了:
Caused by: org.springframework.beans.factory.BeanCreationException:
Error creati
nested exception is javax.persistence.PersistenceException: org.hi bernate.exception.GenericJDBCException: Could not open connection at org.springframework.beans.factory.support.FactoryBeanRegistrySupport. doGetObjectFromFactoryBean(FactoryBeanRegistrySupport.java:149) at org.springframework.beans.factory.support.FactoryBeanRegistrySupport. getObjectFromFactoryBean(FactoryBeanRegistrySupport.java:102) at org.springframework.beans.factory.support.AbstractBeanFactory.getObje ctForBeanInstance(AbstractBeanFactory.java:1440) at org.springframework.beans.factory.support.AbstractBeanFactory.doGetBe an(AbstractBeanFactory.java:247) at org.springframework.beans.factory.support.AbstractBeanFactory.getBean (AbstractBeanFactory.java:192) at org.springframework.beans.factory.support.BeanDefinitionValueResolver .resolveReference(BeanDefinitionValueResolver.java:322) ... 17 more Caused by: javax.persistence.PersistenceException: org.hibernate.exception.Gener icJDBCException: Could not open connection at org.hibernate.ejb.AbstractEntityManagerImpl.convert(AbstractEntityMan agerImpl.java:1387) at org.hibernate.ejb.AbstractEntityManagerImpl.convert(AbstractEntityMan agerImpl.java:1310) at org.hibernate.ejb.AbstractEntityManagerImpl.throwPersistenceException (AbstractEntityManagerImpl.java:1397) at org.hibernate.ejb.TransactionImpl.begin(TransactionImpl.java:62) at com.cloudera.enterprise.AbstractWrappedEntityManager.beginForRollback AndReadonly(AbstractWrappedEntityManager.java:85) at com.cloudera.enterprise.dbutil.DbUtil.isInnoDbEnabled(DbUtil.java:472 )
17:51:27,328 ERROR [main:spi.SqlExceptionHelper@147] An attempt by a client to checkout a Connection has timed out.
17:51:27,339&&INFO [main:support.DefaultListableBeanFactory@422] Dest roying singletons in org.springframework.beans.factory.support.DefaultListableBe anFactory@715dcdeb: defining beans [commandLineConfigurationBean,entityManagerFa ctoryBean,com.cloudera.server.cmf.TrialState,com.cloudera.server.cmf.TrialManage r,com.cloudera.cmf.crypto.LicenseLoader]; root of factory hierarchy
17:51:27,341 ERROR [main:cmf.Main@202] Server failed. org.springframework.beans.factory.BeanCreationException: Error creating bean wit h name 'com.cloudera.server.cmf.TrialState': Cannot resolve reference to bean 'e ntityManagerFactoryBean' while setting
nested exception is org.springframework.beans.factory.BeanCreationException: Error creating bean wi th name 'entityManagerFactoryBean': FactoryBean threw exception on object creati
nested exception is javax.persistence.PersistenceException: org.hibernate.ex ception.GenericJDBCException: Could not open connection at org.springframework.beans.factory.support.BeanDefinitionValueResolver .resolveReference(BeanDefinitionValueResolver.java:328) at org.springframework.beans.factory.support.BeanDefinitionValueResolver .resolveValueIfNecessary(BeanDefinitionValueResolver.java:106) at org.springframework.beans.factory.support.ConstructorResolver.resolve ConstructorArguments(ConstructorResolver.java:616) at org.springframework.beans.factory.support.ConstructorResolver.autowir eConstructor(ConstructorResolver.java:148) at org.springframework.beans.factory.support.AbstractAutowireCapableBean Factory.autowireConstructor(AbstractAutowireCapableBeanFactory.java:1003) at org.springframework.beans.factory.support.AbstractAutowireCapableBean Factory.createBeanInstance(AbstractAutowireCapableBeanFactory.java:907) at org.springframework.beans.factory.support.AbstractAutowireCapableBean Factory.doCreateBean(AbstractAutowireCapableBeanFactory.java:485) at org.springframework.beans.factory.support.AbstractAutowireCapableBean Factory.createBean(AbstractAutowireCapableBeanFactory.java:456) at org.springframework.beans.factory.support.AbstractBeanFactory$1.getOb ject(AbstractBeanFactory.java:293) at org.springframework.beans.factory.support.DefaultSingletonBeanRegistr y.getSingleton(DefaultSingletonBeanRegistry.java:222)
看完日志,你是否还是云里雾里,这不得不说一下,我们该如何利用日志。 日志的作用是什么?日志的作用是提示,它大部分会给我们明确说遇到了什么问题,比如权限拒绝,等,但是有些你是看不明白的,那我们该如何处理?只能靠你的灵感了, 没有灵感怎么办?那就需要自己缕顺序,自己是怎么安装、怎么操作的,然后从中能够发现问题。渐渐的你就能培养出灵感了。
上面其实我只知道报的是一个Java异常,而且还跟链接有关系。 灵感来了,就像到了,是因为没有执行下面命令: 配置cloudera-manager-server数据库
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql&&-uroot -p --scm-host localhost scm scm scm_password
但是又出问题了,如下:
其实这个问题已经解决了,安装我们可以进入上面步骤。 当我们安装完毕,ok了,终于好了: 当我们看到下面内容的时候,all done,说明我们配置成功了。
然后我们再次重启
service cloudera-scm-server restart
ok始终在坚挺着,没有挂机,问题得到解决
感谢关注 Ithao123Hadoop频道,是专门为互联网人打造的学习交流平台,全面满足互联网人工作与学习需求,更多互联网资讯尽在 IThao123!
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。
产品设计是互联网产品经理的核心能力,一个好的产品经理一定在产品设计方面有扎实的功底,本专题将从互联网产品设计的几个方面谈谈产品设计
随着国内互联网的发展,产品经理岗位需求大幅增加,在国内,从事产品工作的大部分岗位为产品经理,其实现实中,很多从事产品工作的岗位是不能称为产品经理,主要原因是对产品经理的职责不明确,那产品经理的职责有哪些,本专题将详细介绍产品经理的主要职责
PHP(外文名:PHP: Hypertext Preprocessor,中文名:“超文本预处理器”)是一种通用开源脚本语言。语法吸收了C语言、Java和Perl的特点,利于学习,使用广泛,主要适用于Web开发领域。PHP 独特的语法混合了C、Java、Perl以及PHP自创的语法。它可以比CGI或者Perl更快速地执行动态网页。用PHP做出的动态页面与其他的编程语言相比,PHP是将程序嵌入到HTML(标准通用标记语言下的一个应用)文档中去执行,执行效率比完全生成HTML标记的CGI要高许多;PHP还可以执行编译后代码,编译可以达到加密和优化代码运行,使代码运行更快。
IThao123周刊}

我要回帖

更多关于 hadoop cdh3u6下载 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信