[发明专利]数据处理方法及其系统

说明书

本发明是关于一种数据处理方法及其系统，属于数据处理技术领域。该方法包括：将一数据仓库中的冷数据转移存储于一冷数据集群中；监控所述数据仓库接收的查询语句，将所述查询语句中的表名称及该表名称对应的表的数据分区范围和所述数据仓库中相应表的同一数据分区范围进行比对；根据比对结果，判断所述查询语句查询的数据是否全部存储于所述数据仓库中；当所述查询语句查询的数据没有全部位于所述数据仓库中时，将存储于所述冷数据集群中的相应表中的、没有位于所述数据仓库中的数据分区范围部分的冷数据自动拉回所述数据仓库。本发明能够提高冷数据存储的灵活性，自动控制冷数据集群与数据仓库之间的数据转移。

技术领域

本发明涉及数据处理技术，尤其涉及一种数据处理方法及其系统。

背景技术

随着互联网及电商的快速发展、业务形式的多样化以及人们对互联网依赖程度的增加，企业数据仓库所承载的数据量呈现爆发式的增长，海量数据的存储、加工与查询也给集群带来了非常大的挑战。

有些久远的数据并不会被经常调用，但是又有可能偶尔用到，所以不能删除这些数据，随着时间的增长，这样的数据会越来越多，不仅存储起来比较浪费空间，如果使用不当，还会大大降低查询效率。如何有效地管理海量数据，成为集群管理者越来越重视的话题。

数据仓库中大部分事实表是按照一定的业务时间，进行分区存储。一样的业务时间，存储在同一个分区中，以dt表示分区。使用这些事实表的时候，只要知道自己需要的数据大概在什么分区中，就可以通过限定分区范围来降低查询范围，提高查询效率。因此，现有技术中，通过扫描数据仓库中的表每天被查询的分区，一旦发现某分区的数据在一定时间内没有被查询，那么，将该分区的数据转移到冷数据集群，以节省集群资源，节省磁盘空间。

以用户基本信息表gdm_m01_userinfo_basic_sum为例，该表以用户注册时间作为时间戳，将相同时间戳的数据放入对应的分区，例如dt＝‘2016-03-08’分区中，存放注册时间为2016年3月8日注册的用户的相关信息。随着时间的积累，该表分区越来越多，并且很多历史数据并不会经常使用，当自动扫描程序扫描到dt＝‘2013-01-01’的分区在90天内没有访问，那么，系统自动将该分区转移到冷数据集群，当某一分区一旦被转移到冷数据集群以后，再在数据仓库中查询该分区的数据时，不会查到该数据。如果有需要用到已转移到冷数据集群的数据，就需要提起冷数据恢复申请，等待专业的人员再将该数据转移回来。

这样，一旦数据被转移到冷数据集群，在数据仓库中将查不到该数据，当有用户要查询该数据时，查询结果错误。不了解冷数据拉取规则的，将会质疑数据的完整性，导致用户去查找数据异常的原因，原因找到以后，需要提交申请，将冷数据重新拉回，才能正常使用，极大的增加了工作量。

因此，需要一种新的数据处理方法及其系统。

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明提供一种数据处理方法及其系统，能够提高冷数据存储的灵活性。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一方面，提供一种数据处理方法，包括：将一数据仓库中的冷数据转移存储于一冷数据集群中；监控所述数据仓库接收的查询语句，将所述查询语句中的表名称及该表名称对应的表的数据分区范围和所述数据仓库中相应表的同一数据分区范围进行比对；根据比对结果，判断所述查询语句查询的数据是否全部存储于所述数据仓库中；当所述查询语句查询的数据没有全部位于所述数据仓库中时，将存储于所述冷数据集群中的相应表中的、没有位于所述数据仓库中的数据分区范围部分的冷数据自动拉回所述数据仓库。