[发明专利]一种基于Redis集群优化HBase集群性能的方法

说明书

本发明提供一种基于Redis集群优化HBase集群性能的方法，包括如下步骤：步骤一：建立数据存储集群组，步骤二：对集群组读写进行设置处理实现HBase集群性能的优化，具体包括：设置集群组写入数据及时间戳规则，设置对客户端的读取、更新指令时间戳判断模块，当数据时间戳在设定的运行天数的前一天时，读取指令被分配到HBase集群；当其要读取的数据时间戳在第一Redis集群数据为最新一天的时间戳数据时，指令将分配到第一Redis集群中进行查询；设置双Redis集群高可用，若第一Redis集群出现硬件问题或网络波动，第二Redis集群代替第一Redis集群接收数据并触发维护报警。

技术领域

本发明涉及数据库性能优化技术领域，具体涉及一种基于Redis集群优化HBase集群性能的方法。

背景技术

伴随着当今社会的发展，数据量正以爆炸的速度进行增加，传统的数据仓库已经不能满足公司日益增长的数据量的需要，甚至像Redis与HBase这样的NoSQL也已经开始面临着挑战，目前数仓所面临的挑战主要集中在如何满足高性能的需要、海量数据的持久、可靠性存储上。

对于现有NoSQL，HBase的优势是将普通的商用机器结合在一起，形成海量数据的可靠存储，但性能略有不足。Redis作为基于内存的NoSQL，其性能大概是HBase的10到上百倍，但是基于内存代表不能保证数据可靠，不适合长时间存储、也无法存储大规模数据数据。对于数据源来说，当今社会的海量数据都是由人的行为产生的，人们生成的数据与人们的作息有着密切的联系，既代表着绝大多数新生的数据都是在人类活跃时间段产生的。对于数据库的底层服务器来说，在面临多客户端的频繁请求时，承担新生数据的吞吐时是机器压力最大时，性能也会有着明显下降。

发明内容

针对对于数据库的底层服务器来说，在面临多客户端的频繁请求时，承担新生数据的吞吐时是机器压力最大时，性能也会有着明显下降的问题，本发明提供一种基于Redis集群优化HBase集群性能的方法。

本发明的技术方案是：

本发明技术方案提供一种基于Redis集群优化HBase集群性能的方法，包括如下步骤：

步骤一：建立数据存储集群组，具体包括：

搭建HBase集群；

在HBase集群的基础上搭建Redis集群,Redis集群包括第一Redis集群和第二Redis集群；双Redis集群系统的有效利用提供对服务器底层的负载均衡能力；

步骤二：对集群组读写进行设置处理实现HBase集群性能的优化，具体包括：

设置集群组写入数据及时间戳规则，其中，包括：设置集群组活跃时间段数据写入规则；设置集群组非活跃时间数据写入及数据同步；

设置对客户端的读取、更新指令时间戳判断模块，当数据时间戳在设定的运行天数的前一天时，读取指令被分配到HBase集群；当其要读取的数据时间戳在第一Redis集群数据为最新一天的时间戳数据时，指令将分配到第一Redis集群中进行查询；

设置双Redis集群实现集群高可用，设立journal模块，设定活跃时间段第一Redis集群向第二Redis集群写入每条数据时同时在journal模块留下key值；根据返回的key值的时间判断集群是否异常，若第一Redis集群出现硬件问题或网络波动，第二Redis集群代替第一Redis集群接收数据并触发维护报警。

进一步的，步骤一中建立数据存储集群组，还包括：

设置集群组客户活跃时间段和集群组客户不活跃时间段，或，

创建活跃时间自动判定机制，根据集群组的实际吞吐量判定客户活跃时间段。该集群组支持启用活跃时间段自动判定，默认使用手动设定时间段。