[发明专利]数据处理方法及其系统

权利要求书

1.一种数据处理方法，其特征在于，包括：

将一数据仓库中的冷数据转移存储于一冷数据集群中；

监控所述数据仓库接收的查询语句，将所述查询语句中的表名称及该表名称对应的表的数据分区范围和所述数据仓库中相应表的同一数据分区范围进行比对；

根据比对结果，判断所述查询语句查询的数据是否全部存储于所述数据仓库中；

当所述查询语句查询的数据没有全部位于所述数据仓库中时，将存储于所述冷数据集群中的相应表中的、没有位于所述数据仓库中的数据分区范围部分的冷数据自动拉回所述数据仓库。

2.根据权利要求1所述的方法，其特征在于，其中将该数据仓库中的该冷数据转移存储于该冷数据集群中包括：

配置系统定时扫描所述数据仓库中的数据分区；

判断各个数据分区是否在预设时长内被访问；

将在所述预设时长内没有被访问的数据分区内的数据定义为冷数据，并将所述冷数据从所述数据仓库中转移存储至所述冷数据集群，且从所述数据仓库中删除相应的冷数据。

3.根据权利要求1或2所述的方法，其特征在于，其中监控所述数据仓库接收的查询语句，将所述查询语句中的表名称及该表名称对应的表的数据分区范围和所述数据仓库中相应表的同一数据分区范围进行比对包括：

解析所述查询语句，从所述查询语句中获取当前要查询的数据的表名称及该表名称对应的表的数据分区范围；

解析用于存储文件和目录的元数据信息的fsimage文件，通过该fsimage文件中该表的元数据信息获取其中的数据分区信息；

通过比对当前要查询的数据对应的该表的所述数据分区范围和所述数据分区信息，确定当前要查询的数据是否全部位于所述数据仓库内。

4.根据权利要求1所述的方法，其特征在于，还包括：

当所述查询语句查询的数据没有全部位于所述数据仓库中时，发出一自动提醒信息，其用于提醒当前发起查询的用户，当前查询的数据中没有位于所述数据仓库中的数据部分已被转移至所述冷数据集群；

当接收到该用户发送的确认拉回相应的冷数据请求时，则将所述冷数据自动拉回所述数据仓库。

5.根据权利要求4所述的方法，其特征在于，其中将所述冷数据自动拉回所述数据仓库包括：

当接收到该用户发送的确认拉回相应的冷数据请求时，触发一预先配置的调度程序；

将该表名称、确认拉回的冷数据对应的数据分区作为参数传递给所述调度程序；

所述调度程序将相应的冷数据自动拉回所述数据仓库。

6.根据权利要求5所述的方法，其特征在于，还包括：

比对所述冷数据集群与所述数据仓库中该被拉回的冷数据对应的数据分区的文件大小；

若两者文件大小一致，则删除所述冷数据集群中该被拉回的冷数据对应的数据分区上的数据；

若两者文件大小不一致，则删除所述数据仓库中该被拉回的冷数据，所述调度程序重新执行将相应的冷数据自动拉回所述数据仓库。

7.一种数据处理系统，其特征在于，包括：

转移模块，其用于将一数据仓库中的冷数据转移存储于一冷数据集群中；

监控模块，其用于监控所述数据仓库接收的查询语句，将所述查询语句中的表名称及该表名称对应的表的数据分区范围和所述数据仓库中相应表的同一数据分区范围进行比对；

判断模块，其用于根据比对结果，判断所述查询语句查询的数据是否全部存储于所述数据仓库中；

拉回模块，其用于当所述查询语句查询的数据没有全部位于所述数据仓库中时，将存储于所述冷数据集群中的相应表中的、没有位于所述数据仓库中的数据分区范围部分的冷数据自动拉回所述数据仓库。