[发明专利]数据处理方法、装置、服务器及存储介质

说明书

本发明公开了一种数据处理方法、装置、服务器及存储介质，属于大数据处理领域。该方法中，将多表数据集实现多表关联清除、排序和聚众处理，得到待分发数据集，进一步的，通过数据立方模型实现对数据分片的分发，并通过各个子数据立方模型得到数据处理结果，方便在数据统计分析时，随时调取处理值，而不是从数据库中调取数据值后再得到处理值，不仅通过数据分片方式提高了数据处理能力，也优化便捷了统计分析过程，特别适用于涉及大数据处理的作业，从而解决相关技术无法高效解决数据统计分析的问题，替换堆叠硬件或者人工处理的数据处理方式。

技术领域

本发明涉及大数据处理领域，特别涉及一种数据处理方法、装置、服务器 及存储介质。

背景技术

在经济、政务、投融资、风险评估等行业，关于数据的收集、存储、处理 效率对作业进度和作业结果起着关键性作用。

在数据采集完成后，根据数据类型等信息得到单表数据集或多表数据集， 相关技术中常采用的数据处理与统计分析方式为全表扫描和索引。当单表数据 量超过1亿条时，全表扫描时间耗时太长；当多表数据量超过1000万条时，统 计分析效率低下，难以应用；且即使有索引的情况下，数据量大到一定程度， 数据处理效率也低下，如不超过3个表的统计分析关联是大多数数据处理系统 的瓶颈。

因此，相关技术中的数据处理与统计分析技术只能适应小规模的数据集和 不复杂的表关联应用，在更多行业的专业领域内特别是财税领域基本无法使用， 导致实际的应用过程中无法达到预期效果。

发明内容

本发明提供了一种数据处理方法、装置、服务器及存储介质，用于解决相 关技术中多表关联时超大数据量处理效率低下的问题。所述技术方案如下：

一方面，提供了一种数据处理方法，所述方法包括：

将多表数据集进行多表关联清除操作，得到多维数据集，所述多表关联清 除操作用于清除所述多表数据集间的冗余数据；

对所述多维数据集进行排序处理和聚合处理，得到待分发数据集；

将所述待分发数据集输入数据立方模型，得到数据分片，所述数据立方模 型用于根据数据分片规则对所述待分发数据集进行分片处理；

通过所述数据立方模型将各个数据分片分发至对应的子数据立方模型，得 到所述各个数据分片的数据处理结果，所述子数据立方模型用于对对应的数据 分片进行数据处理；

将各个数据处理结果存储至所述数据立方模型中。

另一方面，提供了一种数据处理装置，所述装置包括：

关联清除模块，用于将多表数据集进行多表关联清除操作，得到多维数据 集，所述多表关联清除操作用于清除所述多表数据集间的冗余数据；

数据准备模块，用于对所述多维数据集进行排序处理和聚合处理，得到待 分发数据集；

数据分片模块，用于将所述待分发数据集输入数据立方模型，得到数据分 片，所述数据立方模型用于根据数据分片规则对所述待分发数据集进行分片处 理；

数据处理模块，用于通过所述数据立方模型将各个数据分片分发至对应的 子数据立方模型，得到所述各个数据分片的数据处理结果，所述子数据立方模 型用于对对应的数据分片进行数据处理；

数据存储模块，用于将各个数据处理结果存储至所述数据立方模型中。

另一方面，提供了一种服务器，所述服务器包括处理器和存储器；所述存 储器存储有至少一条指令，所述至少一条指令用于被所述处理器执行以实现如 上述方面所述的数据处理方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质存储有至少一 条指令，所述至少一条指令用于被处理器执行以实现如上述方面所述的数据处 理方法。