[发明专利]一种热数据高性能存储架构

说明书

本发明属于大数据存储技术领域，尤其是涉及一种热数据高性能存储架构，包括开源处理平台Kafka和Hbase开源数据库，所述热数据包括7天内的热点业务数据，且热数据的存储过程包括以下步骤：监听来自于开源的消息队列Kafka的实时日志数据；将日志数据实时存入Hbase中，同时设置自动过期时间；由Hbase向外提供高性能的随机读写操作；每日定时将前一日数据进行聚合同步归档至其他低性能但低价的数据库。本发明提出将数据进行筛选和抽取，根据业务只保存所需要时间短的近期数据，同时使用分布式列式数据库来存储，通过放弃传统数据库提供的强一致性和事务性，来大幅度提升巨大用户量情形下的随机读写性能。

技术领域

本发明涉及大数据存储技术领域，尤其涉及一种热数据高性能存储架构。

背景技术

线上服务对于响应的延迟是十分敏感的，任何过长的查询或操作时间，都会导致服务使用的体验严重下降，并造成用户的流失。然而随着目前业务的扩展，数据量越来越大，传统的关系型数据库很难再满足日益增长的需求，所以需要使用一种更加现代和新型的存储模型。

另外，根据线上业务的需求，极大多数情况下，都是只需要访问最近几天的数据，所以即使在用户量上亿的情况下，依然也可以控制住所需要的存储空间用量。所以，在选择硬件时，可以选择价格昂贵但性能优异的SSD硬盘来更一步提升性能。

为此，我们提出一种热数据高性能存储架构来解决上述问题。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种热数据高性能存储架构。

为了实现上述目的，本发明采用了如下技术方案：

一种热数据高性能存储架构，包括开源处理平台Kafka和Hbase 开源数据库，所述热数据包括7天内的热点业务数据，且热数据的存储过程包括以下步骤：

S1、监听来自于开源的消息队列Kafka的实时日志数据；

S2、将日志数据实时存入Hbase中，同时设置自动过期时间(如 7天)；

S3、由Hbase向外提供高性能的随机读写操作；

S4、每日定时将前一日数据进行聚合同步归档至其他低性能但低价的数据库。

在上述的一种热数据高性能存储架构中，所述步骤S1中Kafka 的安装方式包括以下步骤：

A1、进入Kafka配置目录，D:\dev\kafka_2.12-1.0.1；

A2、编辑文件“server.properties”；

A3、找到并编辑log.dirs＝D:\\dev\\kafka_2.12-1.0.1\\tmp。

在上述的一种热数据高性能存储架构中，所述步骤S1中用于监听开源处理平台Kafka的方式包括以下操作步骤：

B1、安装zookeeper，进入Zookeeper设置目录，笔者D:\dev\ zookeeper-3.4.10\conf；

B2、将“zoo_sample.cfg”重命名为“zoo.cfg”；

B3、在任意文本编辑器(如notepad)中打开zoo.cfg；

B4、找到并编辑dataDir＝D:\\dev\\zookeeper-3.4.10\\temp

B5、运行zookeeper，D:\dev\zookeeper-3.4.10\bin\zkServer. cmd；

B6、进入Kafka安装目录D:\dev\kafka_2.12-1.0.1；