[发明专利]一种基于redis的高效Hbase分页查询方法

摘要

本发明涉及Hbase分页查询技术领域，具体涉及一种基于redis的高效Hbase分页查询方法，包括如下步骤：对Hbase表的数据生成Rowkey；设置扫描数据的最大条数、根据所查询的页码和每页的数据行数以及其他查询条件，生成查询范围startRow、endRow，以及pagefilter；根据查询条件生成redis中用于存储Rowkey信息的key、根据查询条件从Hbase中scan,并将扫描出来的当前页、前两页和后两页第一条数据的rowKey信息保存到redis中；取数据的时候直接从redis中查找。本发明的有益效果：通过redis缓存技术将Hbase表数据的分页信息缓存起来，web端进行分页查询的时候根据条件生成对应的key先到redis中获取，如果redis中没有再进行查询并对分页相关信息进行保存，极大提高了查询时的响应速度。

主权项

1.一种基于redis的高效Hbase分页查询方法，其特征在于，其包括如下步骤：Step1，对Hbase表的数据生成Rowkey；Step2，设置扫描数据的最大条数；Step3，根据所查询的页码和每页的数据行数以及其他查询条件，生成查询范围startRow、endRow，以及pagefilter；Step4，根据查询条件生成redis中用于存储Rowkey信息的key；Step5，根据查询条件从Hbase中scan,并将扫描出来的当前页、前两页和后两页第一条数据的rowKey信息保存到redis中,具体步骤如下：1)根据查询条件判断当前页Rowkey信息在redis中是否存在；2)根据查询条件判断当前页的前两页以及后两页Rowkey信息在redis中是否存在；3)如果当前页Rowkey信息在redis中存在，以该Rowkey作为startRow,设置数据总数total初始值为(pageIndex‑1)*pageSize；4)根据设置的条件对Hbase表进行scan遍历，每读取一条数据total+1，当scan出来的result为空或者total值为扫描最大条数的倍数时停止遍历，遍历过程中判断当前页n，当前页前两页n‑1、n‑2，当前页后两页n+1、n+2Rowkey信息在redis中是否存在，如果不存在则写入redis中，并返回计算出的数据总数total；5)从redis中取出当前页的Rowkey信息作为startRow，加上之前的endRow和pageSize生成pageFilter到Hbase中取出指定页码和条数的数据；Step6，取数据的时候直接从redis中查找。