HBASE使用问题
在已有的HBASE系统上创建过表domain_list，后删除该表重新创建时遇到如下问题：
hbase(main):017:0& create
"domain_list",{NAME=&"domain",VERSION=&2}
argument ignored for column family domain: 1.8.7
java.io.IOException: Table Namespace Manager not ready yet, try
again later
org.apache.hadoop.hbase.master.HMaster.getNamespaceDescriptor(HMaster.java:3462)
org.apache.hadoop.hbase.master.HMaster.createTable(HMaster.java:1851)
org.apache.hadoop.hbase.master.HMaster.createTable(HMaster.java:2039)
org.apache.hadoop.hbase.protobuf.generated.MasterProtos$MasterService$2.callBlockingMethod(MasterProtos.java:43268)
org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:2109)
org.apache.hadoop.hbase.ipc.CallRunner.run(CallRunner.java:101)
org.apache.hadoop.hbase.ipc.FifoRpcScheduler$1.run(FifoRpcScheduler.java:74)
java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:471)
java.util.concurrent.FutureTask.run(FutureTask.java:262)
java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
该问题的解决办法:
删除hbase.rootdir目录下的所有文件
二. 提示该表已经存在
hbase(main):002:0& create
"domain_list",{NAME=&"domain",VERSION=&2}
argument ignored for column family domain: 1.8.7
Table already exists: domain_list!
1）查看hbase的meta表里是否有需要创建表的相关信息
hbase(main):015:0& scan 'hbase:meta'
&如果有，需要删除相关信息
2）查看zookeeper下面是否有需要创建表的相关信息
在zookeeper的bin目录下，执行如下命令，进行命令行界面。
./zkCli.sh
&然后列出所有的表名
/hbase/table
如果存在需要创建的表，则使用如下命令删除
rmr /hbase/table/ domain_list
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。后使用快捷导航没有帐号？
HBase数据迁移（1）-使用HBase的API中的Put方法
查看: 34091|
评论: |原作者: 陈晨 译|来自:
摘要: 要使用Hadoop，需要将现有的各种类型的数据库或数据文件中的数据导入HBase。一般而言，有三种常见方式：使用HBase的API中的Put方法，使用HBase 的bulk load工具和使用定制的MapReduce Job方式。本文均有详细描述。
本篇文章是对数据合并的系列文章之一，针对的情景模式就是将现有的各种类型的数据库或数据文件中的数据转入至中。
将数据导入中有如下几种方式：
使用HBase的API中的Put方法
使用HBase 的bulk load 工具
使用定制的MapReduce Job方式
使用HBase的API中的Put是最直接的方法，用法也很容易学习。但针对大部分情况，它并非都是最高效的方式。当需要将海量数据在规定时间内载
入HBase中时，效率问题体现得尤为明显。待处理的数据量一般都是巨大的，这也许是为何我们选择了HBase而不是其他数据库的原因。在项目开始之前，
你就该思考如何将所有能够很好的将数据转移进HBase，否则之后可能面临严重的性能问题。
HBase有一个名为 bulk load的功能支持将海量数据高效地装载入HBase中。Bulk load是通过一个MapReduce
Job来实现的，通过Job直接生成一个HBase的内部HFile格式文件来形成一个特殊的HBase数据表，然后直接将数据文件加载到运行的集群中。
使用bulk load功能最简单的方式就是使用importtsv 工具。importtsv
是从TSV文件直接加载内容至HBase的一个内置工具。它通过运行一个MapReduce
Job，将数据从TSV文件中直接写入HBase的表或者写入一个HBase的自有格式数据文件。
尽管importtsv
工具在需要将文本数据导入HBase的时候十分有用，但是有一些情况，比如导入其他格式的数据，你会希望使用编程来生成数据，而MapReduce是处理
海量数据最有效的方式。这可能也是HBase中加载海量数据唯一最可行的方法了。当然我们可以使用MapReduce向HBase导入数据，但海量的数据
集会使得MapReduce Job也变得很繁重。若处理不当，则可能使得MapReduce的job运行时的吞吐量很小。
在HBase中数据合并是一项频繁执行写操作任务，除非我们能够生成HBase的内部数据文件，并且直接加载。这样尽管HBase的写入速度一直很
快，但是若合并过程没有合适的配置，也有可能造成写操作时常被阻塞。写操作很重的任务可能引起的另一个问题就是将数据写入了相同的族群服务器
server），这种情况常出现在将海量数据导入到一个新建的HBase中。一旦数据集中在相同的服务器，整个集群就变得不平衡，并且写速度会显著的降
低。我们将会在本文中致力于解决这些问题。我们将从一个简单的任务开始，使用API中的Put方法将My中的数据导入HBase。接着我们会描述如
何使用 importtsv 和 bulk
load将TSV数据文件导入HBase。我们也会有一个MapReduce样例展示如何使用其他数据文件格式来导入数据。上述方式都包括将数据直接写入
HBase中，以及在HDFS中直接写入HFile类型文件。本文中最后一节解释在向HBase导入数据之前如何构建好集群。本文代码均是以编
写，我们假设您具有基本Java知识，所以我们将略过如何编译与打包文中的Java示例代码，但我们会在示例源码中进行注释。
通过单个客户端导入MySQL数据
数据合并最常见的应用场景就是从已经存在的关系型数据库将数据导入到HBase中。对于此类型任务，最简单直接的方式就是从一个单独的客户端获取数据，然后通过HBase的API中Put方法将数据存入HBase中。这种方式适合处理数据不是太多的情况。
本节描述的是使用Put方法将MySQL数据导入HBase中的方式。所有的操作均是在一个单独的客户端执行，并且不会使用到MapReduce。本节将会带领你通过HBase Shell创建HBase表格，通过Java来连接集群，并将数据导入HBase。
公共数据集合是个练习HBase数据合并的很好数据源。互联网上有很多公共数据集合。我们在本文中奖使用 “美国国家海洋和大气管理局
气候平均值”的公共数据集合。访问http://www1.ncdc.noaa.gov/pub/data/normals
这些气候报表数据是由美国国家海洋和大气管理局（NOAA）生成的。在本文中，我们使用在目录 products | hourly 下的小时温度数据（可以在上述链接页面中找到）。下载hly-temp-normal.txt文件。
需要一个MySQL实例，在MySQL数据库中创建hly_temp_normal表格，使用如下的SQL命令：
123456789101112131415161718192021222324252627282930create table hly_temp_normal (id INT NOT NULL AUTO_INCREMENT PRIMARY KEY,stnid CHAR(11),month TINYINT,day TINYINT,value1 VARCHAR(5),value2 VARCHAR(5),value3 VARCHAR(5),value4 VARCHAR(5),value5 VARCHAR(5),value6 VARCHAR(5),value7 VARCHAR(5),value8 VARCHAR(5),value9 VARCHAR(5),value10 VARCHAR(5),value11 VARCHAR(5),value12 VARCHAR(5),value13 VARCHAR(5),value14 VARCHAR(5),value15 VARCHAR(5),value16 VARCHAR(5),value17 VARCHAR(5),value18 VARCHAR(5),value19 VARCHAR(5),value20 VARCHAR(5),value21 VARCHAR(5),value22 VARCHAR(5),value23 VARCHAR(5),value24 VARCHAR(5));
本文提供了一些脚本将txt中的数据导入到MySQL表中。你可以使用 insert_hly.py
来加载每小时的NOAA数据。只需要修改脚本中的主机（host），用户（user），密码（password）以及数据名称（database
name）。完成修改后就能够将下载的hly-temp-normal.txt数据导入到mysql的hly_temp_normal
表中，使用命令如下：
$ python insert_hly.py -f hly-temp-normal.txt -t hly_temp_normal
译者注：此处给出python脚本下载地址（/uprush/hac-book/blob/master/2-data-migration/script/insert_hly.py）
（译者注：由于对于python的了解有限以及环境限制，所以单独另写了一段Java的代码，可以直接使用的：
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104import java.io.FileInputSimport java.io.IOEimport java.io.InputStreamRimport java.io.Rimport java.sql.Cimport java.sql.DriverMimport java.sql.PreparedSimport java.sql.SQLEimport java.util.ArrayLimport java.util.L&public class InsertHly {static String user="root";static String pwd="root123";static String driver="com.mysql.jdbc.Driver";static String url="jdbc:mysql://127.0.0.1:3306/htom?useUnicode=true&characterEncoding=UTF-8";&public static void main(String[] args) throws SQLException {Connection baseCon = null;String sqlStr="insert
into hly_temp_normal
(stnid,month,day,value1,value2,value3,value4,value5,value6,value7,value8,value9,value10,value11,value12,value13,value14,value15,value16,value17,value18,value19,value20,value21,value22,value23,value24)
values (?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?)";List parasValues=new ArrayList();try {baseCon = DriverManager.getConnection(url, user, pwd);} catch (SQLException e) {e.printStackTrace();}&String allRowsStr=readFileByChars("d:\\TestZone\\hly-temp-normal.txt", "gbk");String[] rows=allRowsStr.split("\n");for(String row : rows){parasValues.add(row.split("\\s+"));}&PreparedStatement basePsm = null;try {baseCon.setAutoCommit(false);basePsm = baseCon.prepareStatement(sqlStr);for (int i = 0; i & parasValues.size(); i++) {Object[] parasValue = parasValues.get(i);for (int j = 0; j & parasValue. j++) {basePsm.setObject(j + 1, parasValue[j]);}basePsm.addBatch();}basePsm.executeBatch();mit();} catch (SQLException e) {baseCon.rollback();throw e;} finally {if (basePsm != null) {basePsm.close();basePsm = null;}if (baseCon != null) {baseCon.close();}}&}&public static String readFileByChars(String fileName, String enc) {StringBuffer content=new StringBuffer();Reader reader = null;try {char[] tempchars = new char[30];int charread = 0;reader = new InputStreamReader(new FileInputStream(fileName),enc);while ((charread = reader.read(tempchars)) != -1) {if ((charread == tempchars.length)&& (tempchars[tempchars.length - 1] != '\r')) {content.append(tempchars);} else {for (int i = 0; i & i++) {if (tempchars[i] == '\r') {continue;} else {content.append(tempchars[i]);}}}}return content.toString();&} catch (Exception e1) {e1.printStackTrace();} finally {if (reader != null) {try {reader.close();} catch (IOException e1) {}}}return null;}}&）
为使得下一节中的Java源码能够编译，你需要下列库支持：
-core-1.0.2.jar
hbase-0.92.1.jar
mysql-connector-java-5.1.18.jar
你可以将他们手动加入classpath中，或者使用本文中的可用的示例代码。
在导入数据之前，确认HDFS， ZooKeeper,和HBase集群均正常运行。在HBase的客户端节点记录日志。
通过单节点客户端将数据从MySQL导入HBase：
1.从HBase的客户端服务器从过HBase的Shell命令行，连接到HBase的集群。
hadoop$ $HBASE_HOME/bin/hbase shell
2.在HBase中创建 hly_temp 表
hbase& create ‘hly_temp’, {NAME =& ‘n’, VERSIONS =& 1}
3.写一个Java程序将数据从MySQL中导入HBase，并将其打包成jar。在Java中按照下列步骤导入数据:
i. 使用Java创建一个connectHBase() 方法来连接到指定的HBase表：
$ vi Recipe1.java
1234567private static HTable connectHBase(String tablename) \throws IOException {HTable table = null;Configuration conf = HBaseConfiguration.create();table = new HTable(conf, tablename);return }
ii. 使用Java创建一个 connectDB() 方法来 MySQL :
$ vi Recipe1.java
12345678910private static Connection connectDB() \throws Exception {String userName = "db_user";String password = "db_password";String url = "jdbc:mysql://db_host/database";Class.forName("com.mysql.jdbc.Driver").newInstance();Connection conn = DriverManager.getConnection(url,userName, password);return }
此处是Java类中的main() 方法，在其中我们从MySQL获取数据并存入HBase中：
$ vi Recipe1.java
1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253public class Recipe1 {&public static void main(String[] args) {&&&Connection dbConn = null;&&&HTable htable = null;&&&Statement stmt = null;&&&String query = "select * from hly_temp_normal";&&&try {&&&&&dbConn = connectDB();&&&&&htable = connectHBase("hly_temp");&&&&&byte[] family = Bytes.toBytes("n");&&&&&stmt = dbConn.createStatement();&&&&&ResultSet rs = stmt.executeQuery(query);&&&&&&&&&&&&&&&long ts = System.currentTimeMillis();&&&&&while (rs.next()) {&&&&&&&String stationid = rs.getString("stnid");&&&&&&&int month = rs.getInt("month");&&&&&&&int day = rs.getInt("day");&&&&&&&String rowkey = stationid + Common.lpad(String. &&&&&&&valueOf(month), 2,& &&&&&&&'0') + Common.lpad(String.valueOf(day), 2, '0');&&&&&&&Put p = new Put(Bytes.toBytes(rowkey));&&&&&&&&&&&&&&&&&&&&&for (int i = 5; i & 29; i++) {&&&&&&&&&String columnI = "v" + Common.lpad &&&&&&&&&(String.valueOf(i - 4), 2, '0');&&&&&&&&&String valueI = rs.getString(i);&&&&&&&&&p.add(family, Bytes.toBytes(columnI), ts,& &&&&&&&&&Bytes.toBytes(valueI));&&&&&&&}&&&&&&&htable.put(p);&&&&&}&&&} catch (Exception e) {&&&&&e.printStackTrace();&&&} finally {&&&&&try {&&&&&&&if (stmt != null) {&&&&&&&&&stmt.close();&&&&&&&}&&&&&&&if (dbConn != null) {&&&&&&&&&dbConn.close();&&&&&&&}&&&&&&&if (htable != null) {&&&&&&&&&htable.close();&&&&&&&}&&&&&} catch (Exception e) {&&&&&&&&&&&&}&&&}&}}
4.运行导入任务，下面的脚本就是用于执行JAR文件：
12345678910111213bin=`dirname $0`bin=`cd $pwd`cp=$HBASE_HOME/conf:$HBASE_HOME/hbase-0.92.1.jar:$bin/build/hac-chapter2.jarfor jar in $bin/lib/*.jardo&&&cp=$cp:$jardonefor jar in $HBASE_HOME/lib/*.jardo&&&cp=$cp:$jardone
$JAVA_HOME/bin/java -classpath $cp “hac.chapter2.Recipe1″
5.验证HBase中导入的数据，通过HBase的Shell连接至HBase：
hadoop$ $HBASE_HOME/bin/hbase shell
6.验证数据已经被导入了HBase的对应表中：
hbase& count ‘hly_temp’
95630 row(s) in 8.9850 seconds
hbase& scan ‘hly_temp’, {LIMIT =& 10}
AQW &&&&&&&&&&&&&&&&&&&&&&&&&&&&column=n:v23,
timestamp=1, value=814S
AQW &&&&&&&&&&&&&&&&&&&&&&&&&&&&column=n:v24,
timestamp=1, value=811C
10 row(s) in 0.6730 seconds
在步骤1和2中，我们在HBase中创建了目标表用于插入数据。目标表名称为hly_temp，且只有单个列族（column family）
n。我们将列族名称设计为一个字母的原因，是因为列族名称会存储在HBase的每个键值对中。使用短名能够让数据的存储和缓存更有效率。我们只需要保留一
个版本的数据，所以为列族指定VERSION属性。
在Java代码中，为了连接到HBase，我们首先创建一个配置（Configuration
）对象，使用该对象创建一个HTable实例。这个HTable对象用于处理所有的客户端API调用。如你所见，我们在代码没有设置任何
ZooKeeper或HBase的连接配置。所以程序该如何连接到运行的HBase集群呢？这或许是因为我们在步骤4中将
$HBase/conf目录添加到classpath中了。通过上述设置，HBase的客户端API会classpath中的hbase-
site.xml加载配置信息。连接配置信息在hbase-site.xml中设置。
在使用JDBC中MySQL中获取数据之后，我们循环读取结果集，将MySQL中的一行映射为HBase表中的一行。此处我们使用
stationid，月份和日期栏位来生成HBase数据的row
key。我们在月份和日期左边也填充0，补足2位数。这样做很重要，因为HBase的row
key是按照字典排序的，意味着12将排序在2之前，这样可能会导致一些意外的情况发生。
我们创建了Put对象，利用row key添加一行数据。每小时的数据的添加需要调用Put.add()方法，传入参数包括列族（column
family）, 限定符（qualifier）,时间戳（ timestamp）, and
值（value）。再次声明，我们使用很短的列族名称能够让存储数据更高效。所有的数据都被添加之后，我们调用HTable.put()
方法会将数据保存进HBase的table中。
最后，所有打开的资源都需要手动关闭。我们在代码中的final块中结束了MySQL和HBase的连接，这样确保即时导入动作中抛出异常仍然会被调用到。
你能够通过对比MySQL和HBase的数据行数来验证导入是否正确。你可以在扫描（scan）结果集中发现数据都准确的导入了HBase。&&&&&&英文原文自：&本文转载自：> 博客详情
摘要: HBase在JavaWeb项目中的应用
在此之前我们使用Mysql作为数据源，但发现这数据增长速度太快，并且由于种种原因，因此必须使用HBase，所以我们要把Mysql表里面的数据迁移到HBase中，在这里我就不讲解、不争论为什么要使用HBase，HBase是什么了，喜欢的就认真看下去，总有些地方是有用的
我们要做的3大步骤：
新建HBase表格。
把MYSQL数据迁移到HBase中。
在Java Web项目中读取HBase的数据。
先介绍一下必要的一些环境：
HBase的版本：0.98.8-hadoop2
所需的依赖包：
commons-codec-1.7.jar
commons-collections-3.2.1.jar
commons-configuration-1.6.jar
commons-lang-2.6.jar
commons-logging-1.1.3.jar
guava-12.0.1.jar
hadoop-auth-2.5.0.jar
hadoop-common-2.5.0.jar
hbase-client-0.98.8-hadoop2.jar
hbase-common-0.98.8-hadoop2.jar
hbase-protocol-0.98.8-hadoop2.jar
htrace-core-2.04.jar
jackson-core-asl-1.9.13.jar
jackson-mapper-asl-1.9.13.jar
log4j-1.2.17.jar
mysql-connector-java-5.1.7-bin.jar
netty-3.6.6.Final.jar
protobuf-java-2.5.0.jar
slf4j-api-1.7.5.jar
slf4j-log4j12-1.7.5.jar
zookeeper-3.4.6.jar
如果在你的web项目中有些包已经存在，保留其中一个就好了，免得报奇怪的错误就麻烦了。
步骤1：建表
在此之前，我在Mysql中的业务数据表一共有6个，其结构重复性太高了，首先看看我在HBase里面的表结构：
fid+tid+date
簇(family)
发电量相关指标
累计运行小时数
检修小时数
利用小时数
列(qualifier)
故障损失电量
当天自耗电量
当天发电量
当天并网秒数
当天检修秒数
当天利用秒数
这个表中我们有5个family，其中base Family是对应6个mysql表中的key列， gpower、userate、consum分别对应一个表，time对应3个表。
这个kpi表的rowkey设计是base中的3个qualifier，分别从3个维度查询数据，这样的设计已经可以满足我们的需求了。
具体在HBase中如何建表如何搭建环境自己参考我写的【手把手教你配置HBase完全分布式环境】这篇文章吧。
步骤2：把MySQL数据迁移到HBase
这时我用gpower对应的mysql表来做演示吧，其他表的道理都一样。（这里可能有人会说为什么不用第三方插件直接数据库对数据库迁移，这里我统一回答一下，我不会，我也不需要。）
okay,首先我们来看看代码先吧：
import java.io.F
import java.sql.C
import java.sql.DriverM
import java.sql.PreparedS
import java.sql.ResultS
import java.text.SimpleDateF
import java.util.ArrayL
import java.util.L
import org.apache.hadoop.conf.C
import org.apache.hadoop.hbase.HBaseC
import org.apache.hadoop.hbase.client.HBaseA
import org.apache.hadoop.hbase.client.HT
import org.apache.hadoop.hbase.client.P
import org.apache.hadoop.hbase.util.B
import org.apache.log4j.BasicC
import org.apache.log4j.L
import org.apache.log4j.L
public class GpowerTransfer{
private static final String QUOREM = "192.168.103.50,192.168.103.51,192.168.103.52,192.168.103.53,192.168.103.54,192.168.103.55,192.168.103.56,192.168.103.57,192.168.103.58,192.168.103.59,192.168.103.60";//这里是你HBase的分布式集群结点，用逗号分开。
private static final String CLIENT_PORT = "2181";//端口
private static Logger log = Logger.getLogger(GpowerTransfer.class);
* @param args
public static void main(String[] args) {
BasicConfigurator.configure();
log.setLevel(Level.DEBUG);
String tableName = "kpi";//HBase表名称
Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum", QUOREM);
conf.set("hbase.zookeeper.property.clientPort", CLIENT_PORT);
try { File workaround = new File(".");
System.getProperties().put("hadoop.home.dir", workaround.getAbsolutePath());
new File("./bin").mkdirs();
new File("./bin/winutils.exe").createNewFile();//这几段奇怪的代码在windows跑的时候不加有时候分报错，在web项目中可以不要,但单独的java程序还是加上去吧，知道什么原因的小伙伴可以告诉我一下，不胜感激。
HBaseAdmin admin = new HBaseAdmin(conf);
if(admin.tableExists(tableName)){
Class.forName("com.mysql.jdbc.Driver");//首先将mysql中的数据读取出来，然后再插入到HBase中
String url = "jdbc:mysql://192.168.***.***:3306/midb?useUnicode=true&characterEncoding=utf-8";
String username = "********";
String password = "********";
Connection con = DriverManager.getConnection(url, username, password);
PreparedStatement pstmt = con.prepareStatement("select * from kpi_gpower");
ResultSet rs = pstmt.executeQuery();
HTable table = new HTable(conf, tableName);
log.debug(tableName + ":start copying data to hbase...");
List&Put& list = new ArrayList&Put&();
SimpleDateFormat sdf = new SimpleDateFormat("yyyyMMdd");
String base = "base";//family名称
String gpower = "gpower";//family名称
String[] qbase = {"fid","tid","date"};//qualifier名称
String[] qgpower = {"power","windspeed","unpower","theory","coup"};//qualifier名称
while(rs.next()){
String rowKey = rs.getString("farmid") + ":" + (rs.getInt("turbineid")&10?("0"+rs.getInt("turbineid")):rs.getInt("turbineid")) + ":" + sdf.format(rs.getDate("vtime"));//拼接rowkey
Put put = new Put(Bytes.toBytes(rowKey));//新建一条记录，然后下面对相应的列进行赋值
put.add(base.getBytes(), qbase[0].getBytes(), Bytes.toBytes(rs.getString("farmid")));//base:fid
put.add(base.getBytes(), qbase[1].getBytes(), Bytes.toBytes(rs.getInt("turbineid")+""));//base:tid
put.add(base.getBytes(), qbase[2].getBytes(), Bytes.toBytes(rs.getDate("vtime")+""));//base:date
put.add(gpower.getBytes(), qgpower[0].getBytes(), Bytes.toBytes(rs.getFloat("value")+""));//gpower:power
put.add(gpower.getBytes(), qgpower[1].getBytes(), Bytes.toBytes(rs.getFloat("windspeed")+""));//gpower:windspeed
put.add(gpower.getBytes(), qgpower[2].getBytes(), Bytes.toBytes(rs.getFloat("unvalue")+""));//gpower:unvalue
put.add(gpower.getBytes(), qgpower[3].getBytes(), Bytes.toBytes(rs.getFloat("theory")+""));//gpower:theory
put.add(gpower.getBytes(), qgpower[4].getBytes(), Bytes.toBytes(rs.getFloat("coup")+""));//gpower:coup
list.add(put);
table.put(list);//这里真正对表进行插入操作
log.debug(tableName + ":completed data copy!");
table.close();//这里要非常注意一点，如果你频繁地对表进行打开跟关闭，性能将会直线下降，可能跟集群有关系。
admin.close();
log.error("table '" + tableName + "' not exisit!");
throw new IllegalArgumentException("table '" + tableName + "' not exisit!");
admin.close();
} catch (Exception e) {
e.printStackTrace();
在put语句进行add的时候要特别注意：对于int、float、Date等等非String类型的数据，要记得将其转换成String类型，这里我直接用+""解决了，否则在你读取数据的时候就会遇到麻烦了。
步骤3：Java Web项目读取HBase里面的数据
ok,我们成功地把数据迁移到HBase，我们剩下的任务就是在Web应用中读取数据了。
首先我们要确保Web项目中已经把必要的Jar包添加到ClassPath了，下面我对一些HBase的连接做了小封装：
import org.apache.hadoop.conf.C
import org.apache.hadoop.hbase.HBaseC
import org.apache.hadoop.hbase.client.HBaseA
* @author a01513
public class HBaseConnector {
private static final String QUOREM = "192.168.103.50,192.168.103.51,192.168.103.52,192.168.103.53,192.168.103.54,192.168.103.55,192.168.103.56,192.168.103.57,192.168.103.58,192.168.103.59,192.168.103.60";
private static final String CLIENT_PORT = "2181";
private HBaseA
public HBaseAdmin getHBaseAdmin(){
getConfiguration();
admin = new HBaseAdmin(conf);
} catch (Exception e) {
e.printStackTrace();
public Configuration getConfiguration(){
if(conf == null){
conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum", QUOREM);
conf.set("hbase.zookeeper.property.clientPort", CLIENT_PORT);
这里的代码基本上跟迁移的那部分代码一样，由于我在其他地方都要重用这些代码，就装在一个地方免得重复写了。
我在Service层做了一下测试，下面看看具体的读取过程：
private final String tableName = "kpi";
public List&GenPowerEntity& getGenPower(String farmid,int ltb,int htb,String start,String end) {
List&GenPowerEntity& list = new ArrayList&GenPowerEntity&();
HBaseConnector hbaseConn = new HBaseConnector();
HBaseAdmin admin = hbaseConn.getHBaseAdmin();
if(admin.tableExists(tableName)){
HTable table = new HTable(hbaseConn.getConfiguration(), tableName);
Scan scan = new Scan();
scan.addFamily(Bytes.toBytes("base"));
scan.addFamily(Bytes.toBytes("gpower"));
scan.addFamily(Bytes.toBytes("userate"));
String startRowKey = new String();
String stopRowKey = new String();
if("".equals(start) && !"".equals(end)){
stopRowKey = farmid + ":" + Tools.addZero(htb) + ":" +
scan.setStopRow(Bytes.toBytes(stopRowKey));
}else if(!"".equals(start) && "".equals(end)){
startRowKey = farmid + ":" + Tools.addZero(ltb) + ":" +
scan.setStartRow(Bytes.toBytes(startRowKey));
}else if(!"".equals(start) && !"".equals(end)){
startRowKey = farmid + ":" + Tools.addZero(ltb) + ":" +
stopRowKey = farmid + ":" + Tools.addZero(htb) + ":" +
scan.setStartRow(Bytes.toBytes(startRowKey));
scan.setStopRow(Bytes.toBytes(stopRowKey));
table.close();
admin.close();
ResultScanner rsc = table.getScanner(scan);
Iterator&Result& it = rsc.iterator();
List&GenPowerEntity& slist = new ArrayList&GenPowerEntity&();
List&UseRateEntity& ulist = new ArrayList&UseRateEntity&();
String tempRowKey = "";//这个临时rowkey是用来判断一行数据是否已经读取完了的。
GenPowerEntity gpower = new GenPowerEntity();
UseRateEntity userate = new UseRateEntity();
while(it.hasNext()){
for(Cell cell: it.next().rawCells()){
String rowKey = new String(cell.getRowArray(),cell.getRowOffset(),cell.getRowLength(),"UTF-8");
String family = new String(cell.getFamilyArray(),cell.getFamilyOffset(),cell.getFamilyLength(),"UTF-8");
String qualifier = new String(cell.getQualifierArray(),cell.getQualifierOffset(),cell.getQualifierLength(),"UTF-8");
String value = new String(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength(),"UTF-8");//假如我们当时插入HBase的时候没有把int、float等类型的数据转换成String，这里就会乱码了，并且用Bytes.toInt()这个方法还原也没有用，哈哈
System.out.println("RowKey=&"+rowKey+"-&"+family+":"+qualifier+"="+value);
if("".equals(tempRowKey))
tempRowKey = rowK
if(!rowKey.equals(tempRowKey)){
slist.add(gpower);
ulist.add(userate);
gpower = new GenPowerEntity();
userate = new UseRateEntity();
tempRowKey = rowK
switch(family){
case "base":
switch(qualifier){
case "fid":
gpower.setFarmid(value);
userate.setFarmid(value);
case "tid":
gpower.setTurbineid(Integer.parseInt(value));
userate.setTurbineid(Integer.parseInt(value));
case "date":
SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd");
Date date =
date = sdf.parse(value);
} catch (ParseException e) {
e.printStackTrace();
gpower.setVtime(date);
userate.setVtime(date);
case "gpower":
switch(qualifier){
case "power":
gpower.setValue(Float.parseFloat(value));
case "windspeed":
gpower.setWindspeed(Float.parseFloat(value));
case "unpower":
gpower.setUnvalue(Float.parseFloat(value));
case "theory":
gpower.setTvalue(Float.parseFloat(value));
case "coup":
gpower.setCoup(Float.parseFloat(value));
case "userate":
switch(qualifier){
case "num":
userate.setFnum(Integer.parseInt(value));
case "power":
userate.setFpower(Float.parseFloat(value));
case "time":
userate.setFvalue(Float.parseFloat(value));
rsc.close();
table.close();
admin.close();
} catch (IOException e) {
e.printStackTrace();
这是我在Service层中用作测试的一个方法，业务逻辑代码可以直接无视（已经用.....代替了，哈哈），至此我们的所有工作完成，对于更深入的应用，还要靠自己去认真挖掘学习了。
人打赏支持
参与源创会
领取时间：
“”在线下联结了各位 OSCer，推广开源项目和理念，很荣幸有你的参与~
领取条件：参与过开源中国“源创会”的 OSCer 可以领取
码字总数 54760
我直接从excel里面复制过来的，编辑的时候能看见边框，发表之后就看不见了
是的，对于冗余度高而且数据量比较大的表，用HBase比较好，压缩比跟大数据量处理性能都比较优秀。
....是省略号的意思，哈哈，忘记给双引号了，看起来有点别扭。
HBase不是SQL，rowkey设计是围绕需求设计的。
支付宝支付
微信扫码支付
打赏金额: ￥
已支付成功
打赏金额: ￥
& 开源中国(OSChina.NET) |
开源中国社区(OSChina.net)是工信部
指定的官方社区}