[发明专利]基于多源数据的数据处理方法及装置

摘要

本发明公开了一种基于多源数据的数据处理方法及装置，该方法包括：获取包括目标专题数据的所有数据源，对各数据源按照完整度由大到小的顺序进行排序；将完整度最大的数据源作为优选数据源，并将该数据源中的目标专题数据输入到中间库；将数据源集合中其他数据源的目标专题数据分别与优选目标专题数据比较，得到补充数据源和新增数据源；将补充目标专题数据输入到中间库中并删除与优选目标专题数据相同的数据，将新增目标专题数据输入到中间库中；筛选中间库中的原始数据中存在的问题数据，将中间库中剩余数据输入到业务库中；将业务库中的数据删除历史数据之后输入过程库；将过程库中的所有数据发送到结果库。本发明可以提高数据的归集效率。

主权项

1.一种基于多源数据的数据处理方法，其特征在于，包括：获取包括目标专题数据的所有数据源A1、A2、···An，得到数据源集合，其中，n为正整数，每个所述数据源包括若干条数据，每一条数据包括若干字段；对所述数据源集合中各所述数据源，按照完整度由大到小的顺序进行排序，其中，所述完整度包括所述数据源所包含的数据的量、数据的种类以及数据的准确度；将完整度最大的所述数据源作为优选数据源，其中，所述优选数据源中的所述目标专题数据为优选目标专题数据；将所述优选目标专题数据以及所述优选目标专题数据的数据来源、数据编号以及生成日期作为原始数据输入到中间库；将所述数据源集合中除所述优选数据源之外的其他数据源中的目标专题数据分别与所述优选目标专题数据进行比较，得到补充数据源和新增数据源，其中，所述补充数据源中的所述目标专题数据为补充目标专题数据，所述新增数据源中的所述目标专题数据为新增目标专题数据，所述补充目标专题数据与所述优选目标专题数据部分重合，所述优选目标专题数据不与所述新增目标专题数据重合；将所述补充目标专题数据以及所述补充目标专题数据的数据来源、数据编号以及生成日期作为原始数据输入到中间库中；删除所述中间库中的与所述优选目标专题数据相同的补充目标专题数据，以及对应的数据来源、数据编号和生成日期；将所述新增目标专题数据以及所述新增目标专题数据的数据来源、数据编号以及生成日期作为原始数据输入到中间库中；筛选所述中间库中的所述原始数据中存在的问题数据，将所述中间库中去除所述问题数据的原始数据作为预处理数据输入到业务库中，同时将所述问题数据输入到问题库中；将所述预处理数据删除历史数据之后作为最终数据输入过程库中；根据所述最终数据的每一个字段的来源和生成日期建立数据来源追溯表，并将所述数据来源追溯表保存在数据来源追溯库中；在对所述最终数据进行变更时，通过所述最终数据中每一个字段的变更时间、每一个字段变更的原值、每一个字段变更的现值、每一个字段原值的数据来源、每一个字段原值的生成日期建立数据变更追溯表，并将所述数据变更追溯表保存在数据变更追溯库中；将所述过程库中的所有所述最终数据定期发送到结果库中。