[发明专利]一种基于Hbase的数据读写操作方法及系统

说明书

技术领域

本发明涉及数据库技术领域，具体涉及一种基于Hbase的数据读写操作方法及系统。

背景技术

在单机版的应用软件系统中，传统的文件存放在文件系统上，用读文件和写文件的方式来获取和存放数据。参见图1，一般情况下，采用本地文件系统来存放文件，比如，在计费系统中，可以将采集下来的话单文件存放于本地文件系统中，然后从话单文件中获取数据文件，经过预处理后，将经过预处理后的数据文件存放于本地文件系统中，随后的剔重、批价和详单存储采用相同的方法。

随着云计算的发展，在应用软件系统云化后，只采用普通的文件系统(即本地文件系统)来存放数据已经不能满足云化后系统的需求,所以分布式文件系统就应运而生。

采用分布式文件系统来存放数据，沿用了单机版采用文件系统的传统，理解和使用上比较方便，但是存在数据的读写性能问题和数据的正确性问题：分布式文件系统几乎所有的读写、打开或关闭文件都是跨网络操作，数据的读写性能相对单机版的文件系统低很多；在分布式文件系统读写数据的过程中,通常会采用缓存技术,此时可能会存在数据的不正确性。

应用软件系统云化后，本地文件系统已经不适合，而使用分布式文件系统又会存在性能问题和数据的正确性问题。

发明内容

本发明所要解决的技术问题是提供一种基于Hbase的数据读写操作方法及系统，能够满足存储云化的需求，也能够满足数据读写的性能问题。

依据本发明的一个方面，提供了一种基于Hbase的数据读写操作方法，包括：

获取至少一个数据源文件中的数据；

将各数据源文件中的数据作为一条数据记录，为该数据记录合理设计Rowkey，并将所述数据记录存储于Hbase数据库的第一数据表；

通过Rowkey读取Hbase数据库的第一数据表中的数据记录；

对所述读取的数据记录进行预定处理后，以相同的Rowkey将所述预定处理后的数据记录存储于Hbase数据库的第二数据表。

依据本发明的另一个方面，提供了一种基于Hbase的数据读写操作系统，包括：

数据获取模块，用于获取至少一个数据源文件中的数据；

第一数据存储模块，用于将各数据源文件中的数据作为一条数据记录，为该数据记录合理设计Rowkey，并将所述数据记录存储于Hbase数据库的第一数据表；

数据读取模块，用于通过Rowkey读取Hbase数据库的第一数据表中的数据记录；

第二数据存储模块，用于对所述读取的数据记录进行预定处理后，以相同的Rowkey将所述预定处理后的数据记录存储于Hbase数据库第二数据表。

本发明提供的一种基于Hbase的数据读写操作方法及系统，首先获取数据源文件中的数据，将数据源文件中的数据作为一条数据记录，为该数据记录设计合理的Rowkey，并将其存储于Hbase数据库的第一数据表中，然后通过Rowkey从第一数据表中获取数据记录，经过预定处理后，以相同的Rowkey将处理后的数据记录存储于Hbase数据库的第二数据表中。本发明方法将Hbase作为文件系统来存储和读写临时过程文件(也可称为临时过程数据)，能够满足应用软件云化后对存储云化的需求；由于Hbase合理利用内存，相对于分布式文件系统，数据的读写性能非常高，因此也能满足数据存储和读写的性能要求。

附图说明

图1为现有技术本地文件系统存放数据示意图；

图2为本发明实施例一的一种基于Hbase的数据读写操作方法流程图；

图3为本发明实施例二的一种基于Hbase的数据读写操作方法流程图；

图4为本发明实施例二的一种基于Hbase的数据读写操作系统示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例一、一种基于Hbase的数据读写操作方法。下面结合图2对本实施例提供的方法进行详细说明。

图2中，S201、获取至少一个数据源文件中的数据。