[发明专利]一种基于Hbase的数据读写操作方法及系统

权利要求书

1.一种基于Hbase数据库的数据读写操作方法，其特征在于，包括：

步骤S201、获取至少一个数据源文件中的数据；

步骤S202、将各数据源文件中的数据作为一条数据记录，为该数据记录合理设计Rowkey，并将所述数据记录存储于Hbase数据库的第一数据表；

步骤S203、通过Rowkey读取Hbase数据库的第一数据表中的数据记录；

步骤S204、对所述读取的数据记录进行预定处理后，以相同的Rowkey将所述预定处理后的数据记录存储于Hbase数据库的第二数据表。

2.如权利要求1所述的数据读写操作方法，其特征在于，所述步骤S201包括：

按照预定时间间隔定时获取至少一个数据源文件中的数据；

所述步骤S202包括：

在Hbase数据库中建立若干个第一数据表，所述第一数据表存储各数据源文件中的数据，其中，第一数据表存储各源数据文件中的数据的时间与获取各数据源文件中的数据的时间存在对应关系；

所述步骤S204还包括：

在Hbase数据库中建立若干个第二数据表，所述第二数据表存储对第一数据表中的数据记录经过预定处理后的数据记录，其中，第二数据表存储所述对第一数据表中的数据经过记录预定处理后的数据记录的时间与第一数据表存储各数据源文件中的数据的时间存在对应关系。

3.如权利要求2所述的数据读写操作方法，其特征在于，当两个第一数据表存储各数据源文件中的数据的时间间隔达到预定时间阈值时，删除存储数据时间在前的第一数据表；

或者，

当两个第二数据表存储对第一数据表中的数据记录经过预定处理后的数据记录的时间间隔达到预定时间阈值时，删除存储数据时间在前的第二数据表。

4.如权利要求1所述的数据读写操作方法，其特征在于，所述步骤S202中将各数据源文件中的数据作为一条数据记录，为该数据记录合理设计Rowkey具体包括：

将获取的各数据源文件的文件名称作为该数据源文件中的数据记录的Rowkey。

5.如权利要求1或2所述的数据读写操作方法，其特征在于，在步骤S202将所述数据记录存储于Hbase数据库的第一数据表之前还包括：

根据各数据源文件的数据内容为各数据源文件中的数据记录统一设计一个合理的列簇和列。

6.一种基于Hbase数据库的数据读写操作系统，其特征在于，包括：

数据获取模块，用于获取至少一个数据源文件中的数据；

第一数据存储模块，用于将各数据源文件中的数据作为一条数据记录，为该数据记录合理设计Rowkey，并将所述数据记录存储于Hbase数据库的第一数据表；

数据读取模块，用于通过Rowkey读取Hbase数据库的第一数据表中的数据记录；

第二数据存储模块，用于对所述读取的数据记录进行预定处理后，以相同的Rowkey将所述预定处理后的数据记录存储于Hbase数据库第二数据表。

7.如权利要求6所述的数据读写操作系统，其特征在于，所述数据获取模块用于获取至少一个数据源文件中的数据具体包括：

按照预定时间间隔定时获取至少一个数据源文件中的数据；

所述第一数据存储模块还包括：

第一建立模块，用于在Hbase数据库中建立若干个第一数据表，所述第一数据表存储各数据源文件中的数据，其中，第一数据表存储各源数据文件中的数据的时间与获取各数据源文件中的数据的时间存在对应关系；

第二数据存储模块还包括：

第二建立模块，用于在Hbase数据库中建立若干个第二数据表，所述第二数据表存储对第一数据表中的数据记录经过预定处理后的数据记录，其中，第二数据表存储所述对第一数据表中的数据记录经过预定处理后的数据记录的时间与第一数据表存储各数据源文件中的数据的时间存在对应关系。

8.如权利要求7所述的数据读写操作系统，其特征在于，当两个第一数据表存储各数据源文件中的数据的时间间隔达到预定时间阈值时，删除存储数据时间在前的第一数据表；

或者，

当两个第二数据表存储对第一数据表中的数据记录预定处理后的数据记录的时间间隔达到预定时间阈值时，删除存储数据时间在前的第二数据表。