[发明专利]一种海量结构化数据的预聚合处理方法

摘要

本发明适用于计算机领域，提供了一种海量结构化数据的预聚合处理方法，通过获取大量的初始数据，然后根据初始数据的类型，将初始数据保存到对应的暂存窗口中；在对应的暂存窗口中将初始数据按照相应的预聚合规则进行预处理，得到预处理结果；最后再将预处理结果写入数据库中保存或进行进一步数据处理。在数据存储到数据库之前就提前按照预聚合规则对数据进行了一定的处理，将每一条数据流简化成一个中间预处理结果；而在海量结构化数据与数据库之间会同时存在多个暂存窗口或者多个暂存窗口链，将海量的结构化数据分化处理，最后再聚集分析，使得数据库的负担大大降低，数据处理的速度加快。