[发明专利]一种海量异构数据的整合方法

说明书

一种海量异构数据的整合方法，包括如下步骤：1）进行全量数据采集并入库；2）进行增量数据采集并入库；3）取出数据库中的所述全量数据；4）把所述全量数据打散为格数据；5）把所述增量数据流化处理；6）通过人工发现和系统自动发现规则找到每个学校各自的数据代表的含义；7）把人工发现和系统自动发现规则后的各项指标数据存入数据库；8）把存有各项指标数据的数据库发布到有关教育部门；9）有关教育部门进行选择订阅信息；10）初始化流程；11）增量流程；12）把数据保存到指定的数据库中；13）订阅成功后，把学校情况反馈和应对措施建议提供给有关教育部门。本发明数据采集与订阅满足实时性，提高了订阅与审阅效率与灵活性。

技术领域

本发明涉及通信技术领域，尤其涉及一种海量异构数据的整合方法。

背景技术

学校是孩子学习知识，接收教育的地方，其承担着为社会输送人才的职能，所以对于学校的监管其实对于人才的培养有着关键意义，而有关教育部门的其中一部分职能就是对学校的监管和指导，对学校的监督管理常常是要根据各个学校自身拥有的存有学校各项情况的数据库的数据进行提取来分析，但是各个学校存入各自数据库的数据所代表的含义是不一样的，这就很难达到统一管理的效果。

发明内容

本发明针对现有技术的不足，提出一种海量异构数据的整合方法，解决了有关教育部门监管各个学校时，各个学校存入各自数据库的数据所代表的含义的不同所带来的难以统一管理的问题。

为了解决上述方案，本发明通过如下方式：一种海量异构数据的整合方法，包括如下步骤：

1）进行全量数据采集并入库，所述全量数据包括各个学校历年来各项指标数据；

2）进行增量数据采集并入库，所述增量数据包括各个学校当日各项指标数据；

3）取出数据库中的所述全量数据；

4）把所述全量数据打散为格数据；

5）把所述增量数据流化处理；

6）通过人工发现梳理其中规则和系统自动发现规则两种方法找到每个学校各自的数据代表的含义；

7）把人工发现梳理其中规则和系统自动发现规则后的各项指标数据存入数据库；

8）把存有各项指标数据的数据库发布到有关教育部门；

9）有关教育部门进行选择订阅信息；

10）初始化流程，所述初始化流程为将有关教育部门需订阅的相关数据从存储的数据库中筛选出来，再还原成行数据，再对行数据进行流化处理，存入订阅数据流，取得所述订阅数据流中的全量数据，在所述订阅数据流中对数据进行处理，转化成有关教育部门所需的数据；

11）增量流程，所述增量流程为采集到已流化的增量数据，存入订阅数据流，依序取得所述订阅数据流中的数据，在所述订阅数据流中对数据进行处理，转化成有关教育部门需要的数据，对不需要计算的数据，照原样传输；

12）把处理后的数据保存到有关教育部门指定的数据库中；

13）订阅成功后，把学校情况反馈和应对措施建议针对性地提供给有关教育部门。

上述技术方案中，优选的，所述各项指标数据包括学校名称、学校地点、学生人数、教师人数、学生各科考试成绩、学生出勤、教师出勤、毕业情况、学校财政收入情况、科室设备设施情况、学校用地情况、教师评价情况。

上述技术方案中，优选的，所述学校情况反馈包括学校名称、学校地点、学生人数、教师人数、学生各科考试成绩、学生出勤、教师出勤、毕业情况、学校财政收入情况、科室设备设施情况、学校用地情况、教师评价情况。