[发明专利]一种海量结构化数据的预聚合处理方法

权利要求书

1.一种海量结构化数据的预聚合处理方法，其特征在于，所述方法包括：

获取初始数据；

根据初始数据的类型，将初始数据保存到对应的暂存窗口中；

在对应的暂存窗口中将初始数据按照相应的预聚合规则进行预处理，得到预处理结果；

将预处理结果写入数据库中保存或进行进一步数据处理。

2.如权利要求1所述的海量结构化数据的预聚合处理方法，其特征在于，所述获取初始数据；根据初始数据的类型，将初始数据保存到对应的暂存窗口中具体包括：

从数据上传端获取初始数据；

向数据上传端反馈提醒信息；所述提醒信息提醒数据上传端为初始数据添加分类标记；

获取初始数据的分类标记，将分类标记作为识别信息添加到初始数据中；

根据初始数据的分类标记，查询与分类标记对应的暂存窗口；所述暂存窗口具有与分类标记对应的识别标记，所述识别标记与分类标记一一对应；

将初始数据保存到对应的暂存窗口。

3.如权利要求2所述的海量结构化数据的预聚合处理方法，其特征在于，所述数据上传端为初始数据添加分类标记的方法为：逐一选择初始数据添加分类标记或者批量选择同类初始数据添加分类标记或者将初始数据录入到分类数据表格中再批量上传，自动添加分类标记。

4.如权利要求2所述的海量结构化数据的预聚合处理方法，其特征在于，所述获取初始数据的分类标记，将分类标记作为识别信息添加到初始数据中之后，所述方法还包括：

识别同一批次同类初始数据的个数值；

判断同一批次同类初始数据的个数值是否大于暂存窗口的最大存储数量；

当同一批次同类初始数据的个数值不大于暂存窗口的最大存储数量时，将同一批次同类初始数据保存到对应的一个暂存窗口中；

当同一批次同类初始数据的个数值大于暂存窗口的最大存储数量时，以最大存储数量为分隔单位，按照前后顺序将同一批次同类初始数据进行分组，得到多组子初始数据集，将多组子初始数据集分别保存到对应的多个暂存窗口中。

5.如权利要求1所述的海量结构化数据的预聚合处理方法，其特征在于，所述根据初始数据的类型，将初始数据保存到对应的暂存窗口中之后，所述方法还包括：

当暂存窗口中暂存有数据的时候，对暂存窗口的暂存时长进行计时；

判断暂存时长是否大于时间临界值；

当暂存时长大于时间临界值时，开始对暂存窗口中的初始数据进行预处理。

6.如权利要求1所述的海量结构化数据的预聚合处理方法，其特征在于，所述根据初始数据的类型，将初始数据保存到对应的暂存窗口中之后，所述方法还包括：

当暂存窗口中暂存有数据的时候，对暂存窗口中存储的初始数据的数量进行实时计数，得到初始数据数量；

判断初始数据数量是否小于数量临界值；

当初始数据数量不小于数量临界值，开始对暂存窗口中的初始数据进行预处理。

7.如权利要求1-6任一所述的海量结构化数据的预聚合处理方法，其特征在于，所述在对应的暂存窗口中将初始数据按照相应的预聚合规则进行预处理，得到预处理结果具体包括：

在对应的一级暂存窗口中，将初始数据按照第一预聚合规则进行一级预处理；

将多个一级预处理结果暂存到二级暂存窗口中；

当二级暂存窗口中的数据量达到预定数量的时候，将一级预处理结果按照第二预聚合规则进行二级预处理；

将二级预处理继续向后续多级暂存窗口传递并进行多级预处理得到最终的预处理结果；后续每一级暂存窗口均对应一种预聚合规则，根据海量结构化数据预处理的需求设定连续的暂存窗口的级数。