本文共 3021 字，大约阅读时间需要 10 分钟。

1.HBase介绍

     HBase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建大规模结构化存储集群。

    HBase 是Google Bigtable 的开源实现，与GoogleBigtable 利用GFS作为其文件存储系统类似，HBase利用Hadoop HDFS 作为其文件存储系统；Google 运行MapReduce 来处理Bigtable中的海量数据， HBase 同样利用Hadoop MapReduce来处理HBase中的海量数据；GoogleBigtable 利用Chubby作为协同服务， HBase 利用Zookeeper作为对应。

2.HBase有哪些特征

    1）在HDFS之上。

    2）大：一个表可以有上亿行，上百万列。

    3）面向列：面向列表（簇）的存储和权限控制，列（簇）独立检索。基于列存储的分布式数据库。

    4）稀疏：对于为空（NULL）的列，并不占用存储空间，因此表可以设计的非常稀疏。

    5）用于实时地读、写大规模数据集。

    6）数据多版本：每个单元中的数据可以有多个版本，默认情况下，版本号自动分配，版本号就是单元格插入时的时间戳。

3.HBase与关系型数据库的对比  

    尽管已经有许多数据存储和访问的策略和实现方法，但事实上大多数解决方案，特别是一些关系类型的，在构建时并没有考虑超大规模和分布式的特点。许多商家通过复制和分区的方法来扩充数据库使其突破单个节点的界限，但这些功能通常都是事后增加的，安装和维护都和复杂。同时，也会影响RDBMS的特定功能，例如联接、复杂的查询、触发器、视图和外键约束这些操作在大型的RDBMS上的代价相当高，甚至根本无法实现。

    传统关系数据库的缺点：1）扩展困难   2） 维护复杂

    HBase就是解决可伸缩行的问题。通过简单增加节点来获取线性扩展性。

HBase与RDBMS的区别

    1）表的设计：HBase的表可以很宽，可伸缩性很强。而且表的模式是物理存储的直接反映。

    2）拓扑： HBase能水平分区并在上千个节点上自动复制。

    3） 应用形式：开发者必须承担更多的责任来正确地利用HBase的检索和存储方式。

    4）RDBMS 遵循固定的模式，强调事务的“强一致性”、参照完整性、SQL支持、数据的逻辑与物理形式相对独立。适用于中小规模的数据，但对于数据的规模和并发读写方面进行大规模扩展时，RDBMS会性能大大降低，分布式更为困难，因为其需要放弃很多RDBMS的易用的特性，HBase适用于上亿、上千亿级的数据，如果是只有上千、上百万级别是数据，传统的RDBMS是更好的选择。

4.HBase访问接口

   HBase支持很多种访问，访问HBase的常见接口如下：

   1）Native Java API，最常规和高效的访问方式，适合HadoopMapReduce Job并行批处理HBase表数据。

   2）HBase Shell，HBase的命令行工具，最简单的接口，适合HBase管理使用。

   3）Thrift Gateway，利用Thrift序列化技术，支持C++，PHP，Python等多种语言，适合其他异构系统在线访问HBase表数据。

   4）REST Gateway，支持REST 风格的Http API访问HBase, 解除了语言限制。

   5）Pig，可以使用Pig Latin流式编程语言来操作HBase中的数据，和Hive类似，本质最终也是编译成MapReduceJob来处理HBase表数据，适合做数据统计。

   6）Hive, 可以整合HBase支持使用类似SQL语言来访问HBase。

5.HBase存储结构

HBase中的存储包括HMaster、HRegionServer、HRegion、Store、MemStore、StoreFile、HFile、HLog等。

HBase中的每张表都通过行键一定的范围被分割成多个子表（HRegion），默认一个HRegion超过256M就要被分割成两个，这个过程由HRegionServer管理，而HRegion的分配由HMaster管理。

关键组件：

HMaster

    1、  为Region server分配region。

    2、  负责Region server的负载均衡。

    3、  发现失效的Region server并重新分配其上的region。

    4、  HDFS上的垃圾文件回收。

    5、  处理schema更新请求。

HRegionServer

    1、维护master分配给他的region，处理对这些region的io请求。

    2、负责切分正在运行过程中变的过大的region。

    3、客户端访问HBase上的数据并不需要master参与（寻址访问zookeeper和region server，数据读写访问region server），master仅仅维护table和region的元数据信息（table的元数据信息保存在zookeeper上），负载很低。 HRegionServer存取一个子表时，会创建一个HRegion对象，然后对表的每个列族创建一个Store实例，每个Store都会有一个MemStore和0个或多个StoreFile与之对应，每个StoreFile都会对应一个HFile， HFile就是实际的存储文件。因此，一个HRegion有多少个列族就有多少个Store。一个HRegionServer会有多个HRegion和一个HLog。

HRegion

     table在行的方向上分隔为多个Region。Region是HBase中分布式存储和负载均衡的最小单元，即不同的region可以分别在不同的Region Server上，但同一个Region是不会拆分到多个server上。Region按大小分隔，每个表一般是只有一个region。随着数据不断插入表，region不断增大，当region的某个列族达到一个阈值（默认256M）时就会分成两个新的region。

每个region由以下信息标识：

    1、< 表名,startRowkey,创建时间>

    2、由目录表(-ROOT-和.META.)记录该region的endRowkey

    3、HRegion定位：Region被分配给哪个Region Server是完全动态的，所以需要机制来定位Region具体在哪个region server。

HBase使用三层结构来定位region：

    1、通过zk里的文件/hbase/rs得到-ROOT-表的位置。-ROOT-表只有一个region。

    2、通过-ROOT-表查找.META.表的第一个表中相应的region的位置。其实-      ROOT-表是.META.表的第一个region；.META.表中的每一个region在-ROOT- 表中都是一行记录。

    3、通过.META.表找到所要的用户表region的位置。用户表中的每个region在.META.表中都是一行记录。

    4、-ROOT-表永远不会被分隔为多个region，保证了最多需要三次跳转，就能定位到任意的region。client会将查询的位置信息保存缓存起来，缓存不会主动失效，因此如果client上的缓存全部失效，则需要进行6次网络来回，才能定位到正确的region，其中三次用来发现缓存失效，另外三次用来获取位置信息。

转载地址：http://vvpfb.baihongyu.com/