[发明专利]一种海量结构化数据的预聚合处理方法

说明书

本发明适用于计算机领域，提供了一种海量结构化数据的预聚合处理方法，通过获取大量的初始数据，然后根据初始数据的类型，将初始数据保存到对应的暂存窗口中；在对应的暂存窗口中将初始数据按照相应的预聚合规则进行预处理，得到预处理结果；最后再将预处理结果写入数据库中保存或进行进一步数据处理。在数据存储到数据库之前就提前按照预聚合规则对数据进行了一定的处理，将每一条数据流简化成一个中间预处理结果；而在海量结构化数据与数据库之间会同时存在多个暂存窗口或者多个暂存窗口链，将海量的结构化数据分化处理，最后再聚集分析，使得数据库的负担大大降低，数据处理的速度加快。

技术领域

本发明属于计算机领域，尤其涉及一种海量结构化数据的预聚合处理方法。

背景技术

在大数据时代，数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产要素。随着业务和数据量的不断增长，对大数据系统的处理能力和构建成本提出了更高的要求。大数据处理流程主要包括数据收集、数据存储、数据处理与分析、数据展示/数据可视化、数据应用等环节，其中数据质量贯穿于整个大数据流程，每一个数据处理环节都会对大数据质量产生影响作用。快速的数据处理以及精确的数据分析通常是大数据产品数据处理能力的评价标准之一。

结构化数据也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范。由此可知结构化数据本身就具有一定的规律性，不是杂乱无章的数据，结构化数据的另一特点就是数据量较大，处理起来会占用较多的处理内存，花费较长的时间。

在传统的关系型数据库计算中，通常是将数据先进行存储，然后进行处理，比如各种汇总、分类、排序、平均值计算的聚合处理等。如果数据量非常巨大，这种对数据进行批量储存处理的方式将导致数据处理进度非常缓慢，而且对存储、计算资源都要求较高。

发明内容

本发明实施例提供一种海量结构化数据的预聚合处理方法，旨在解决在传统的关系型数据库计算中，通常是将数据先进行存储，然后进行处理，比如各种汇总、分类、排序、平均值计算的聚合处理等，如果数据量非常巨大，这种对数据进行批量储存处理的方式将导致数据处理进度非常缓慢，而且对存储、计算资源都要求较高的问题。

本发明实施例是这样实现的，一种海量结构化数据的预聚合处理方法包括：

获取初始数据；

根据初始数据的类型，将初始数据保存到对应的暂存窗口中；

在对应的暂存窗口中将初始数据按照相应的预聚合规则进行预处理，得到预处理结果；

将预处理结果写入数据库中保存或进行进一步数据处理。

作为本发明的一种改进方案：所述获取初始数据；根据初始数据的类型，将初始数据保存到对应的暂存窗口中具体包括：

从数据上传端获取初始数据；

向数据上传端反馈提醒信息；所述提醒信息提醒数据上传端为初始数据添加分类标记；

获取初始数据的分类标记，将分类标记作为识别信息添加到初始数据中；

根据初始数据的分类标记，查询与分类标记对应的暂存窗口；所述暂存窗口具有与分类标记对应的识别标记，所述识别标记与分类标记一一对应；

将初始数据保存到对应的暂存窗口。

作为本发明的又一种改进方案：所述数据上传端为初始数据添加分类标记的方法为：逐一选择初始数据添加分类标记或者批量选择同类初始数据添加分类标记或者将初始数据录入到分类数据表格中再批量上传，自动添加分类标记。

作为本发明的另一种改进方案：所述获取初始数据的分类标记，将分类标记作为识别信息添加到初始数据中之后，所述方法还包括：

识别同一批次同类初始数据的个数值；

判断同一批次同类初始数据的个数值是否大于暂存窗口的最大存储数量；