[发明专利]数据存储方法、装置和系统

说明书

本申请提供了一种数据存储方法、装置和系统，该方法包括：在分布式数据库系统中存储每条数据记录对应的时间戳；根据当前时间和时间戳判定成为冷数据的数据记录；将所述被判定成为冷数据的数据记录从分布式数据库系统迁移至数据库中间件集群进行存储。减少分布式数据库系统的扩容成本和维护成本，防止分布式数据库系统架构越来越庞大和复杂。

技术领域

本申请涉及数据库技术，具体涉及一种数据存储方法、装置和系统。

背景技术

分布式数据库系统(Distributed DataBase System，DDBS)包含分布式数据库管理系统(Distributed Database Management System，DDBMS)和分布式数据库(Distributed DataBase，DDB)。

在DDBS中，一个应用程序可以对DDB进行透明操作，DDB中的数据分别在不同的局部数据库中存储、由不同的DDBMS进行管理、在不同的机器上运行、由不同的操作系统支持、被不同的通信网络连接在一起，把写流量分发到多个分片数据库集群，用于解决读、写流量过高单机集群无法承载的性能问题，同时提供读、写流量分离的功能以及读流量自动负载均衡的功能。

DBProxy是一套用于提供关系型数据库读写分离功能的中间件软件，采用MySQL交互协议，对上游应用层透明。提供关系型数据库层面的SQL语句读写分离、负载均衡、连接池、高并发连接、会话状态保持、安全控制、节点存活检测、高容错等功能。

如果用DDBS对冷数据和热数据按1:1的方案做分离，每次拆分扩容时都需要再增加一倍的设备，使得DDBS的架构越来越复杂，每次扩容的成本也会越来越高。

发明内容

本申请实施例提供了一种数据存储方法、装置和系统，以解决现有技术中DDBS扩容成本过高的技术问题。

根据本申请实施例的一个方面，提供了一种数据存储方法，所述方法包括：在分布式数据库系统中存储每条数据记录对应的时间戳；根据当前时间和所述时间戳判定成为冷数据的数据记录；将所述被判定成为冷数据的数据记录从分布式数据库系统迁移至数据库中间件集群进行存储。

在一个实施例中，将所述被判定成为冷数据的数据记录从分布式数据库系统迁移至数据库中间件集群进行存储包括：

从所述分布式数据库系统中查询被判定成为冷数据的数据记录；调用所述分布式数据库系统将查询到的数据记录发送至所述数据库中间件集群，由所述数据库中间件集群对查询到的数据记录进行压缩存储。

在一个实施例中，所述分布式数据库系统中还存储数据记录状态表，用于保存数据记录的类型和状态，数据记录的初始类型均为热数据，初始状态均为未迁移；将所述被判定成为冷数据的数据记录从分布式数据库系统迁移至数据库中间件集群进行存储还包括：

调用所述分布式数据库系统将所述数据记录的类型修改为冷数据，状态修改为迁移中。

优选的，所述方法还包括：在所述数据记录向所述数据库中间件集群完成迁移之后，调用所述分布式数据库系统将所述数据记录的状态修改为已迁移。

在一个实施例中，调用所述分布式数据库系统将查询到的数据记录发送至所述数据库中间件集群，由所述数据库中间件集群对查询到的数据记录进行压缩存储包括：

调用所述分布式数据库系统将查询到的数据记录发送至DBProxy集群，由所述DBProxy集群对查询到的数据记录通过TokuDB存储引擎进行压缩存储。

在一个实施例中，所述方法还包括：