[发明专利]数据存取方法及装置

说明书

本发明提供了一种数据存取方法及装置，该方法包括：在Phoenix数据库建立需求表；需求表中包括主键和数据块参数；数据块参数用于确定需求表进行数据存取所使用的数据块个数；使用Spark计算引擎根据数据块获取待处理数据；确定待处理数据与需求表的映射关系，并根据映射关系将待处理数据写入需求表，以使查询模块根据主键查询所述Phoenix数据库。本发明通过Phoenix数据库和Spark计算引擎对Hbase数据库进行数据的写入与查询，提高了数据读取的效率。

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种数据存取方法及装置。

背景技术

目前，物联网大数据业务多使用Hbase数据库进行数据的存取。对于Hbase数据库，在数据写入Hbase这一方面，传统使用的MapReduce方法存在海量数据处理需要几个小时甚至一天等问题，写入效率低下；另外，在数据读取方面，一个简单的查询，需要写Map和reduce函数，复杂且耗费时间。

发明内容

本发明提供了一种数据存取方法及装置，可以提高数据存储与数据查询的效率。

第一方面，本发明实施例提供了一种数据存取方法，该方法包括：在Phoenix数据库建立需求表；所述需求表中包括主键和数据块参数；所述数据块参数用于确定所述需求表进行数据存取所使用的数据块个数；使用Spark计算引擎根据所述数据块获取待处理数据；确定所述待处理数据与所述需求表的映射关系，并根据所述映射关系将所述待处理数据写入所述需求表，以使查询模块根据所述主键查询所述Phoenix数据库。

第二方面，本发明实施例还提供一种数据存取装置，该装置包括：建立模块，用于在Phoenix数据库建立需求表；所述需求表中包括主键和数据块参数；所述数据块参数用于确定所述需求表进行数据存取所使用的数据块个数；获取模块，用于使用Spark计算引擎根据所述数据块获取待处理数据；写入模块，用于确定所述待处理数据与所述需求表的映射关系，并根据所述映射关系将所述待处理数据写入所述需求表，以使查询模块根据所述主键查询所述Phoenix数据库。

第三方面，本发明实施例还提供一种计算机设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据存取方法。

第四方面，本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述数据存取方法。

本发明实施例带来了以下有益效果：本发明实施例提供了一种数据存取方案，该方案首先在Phoenix数据库建立需求表，在建立需求表时确定主键和数据块参数，其中，数据块参数用于确定需求表进行数据存取所使用的数据块个数；之后，使用Spark计算引擎根据数据块获取待处理数据，需求表可以通过多个数据块并行进行数据存取，以提高存取效率，另外，还可以缓解写入压力，实现负载均衡；最后，确定待处理数据与需求表的映射关系，并根据该映射关系将待处理数据写入所述需求表，以使查询模块根据主键高效、灵活地查询Phoenix数据库。本发明实施例通过Phoenix数据库和Spark计算引擎对Hbase数据库进行数据的写入与查询，提高了数据读取的效率。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。