[发明专利]基于多源数据的数据处理方法及装置

权利要求书

1.一种基于多源数据的数据处理方法，其特征在于，包括：获取包括目标专题数据的所有数据源A1、A2、···An，得到数据源集合，其中，n为正整数，每个所述数据源包括若干条数据，每一条数据包括若干字段；对所述数据源集合中各所述数据源，按照完整度由大到小的顺序进行排序，其中，所述完整度包括所述数据源所包含的数据的量、数据的种类以及数据的准确度；将完整度最大的所述数据源作为优选数据源，其中，所述优选数据源中的所述目标专题数据为优选目标专题数据；将所述优选目标专题数据以及所述优选目标专题数据的数据来源、数据编号以及生成日期作为原始数据输入到中间库；将所述数据源集合中除所述优选数据源之外的其他数据源中的目标专题数据分别与所述优选目标专题数据进行比较，得到补充数据源和新增数据源，其中，所述补充数据源中的所述目标专题数据为补充目标专题数据，所述新增数据源中的所述目标专题数据为新增目标专题数据，所述补充目标专题数据与所述优选目标专题数据部分重合，所述优选目标专题数据不与所述新增目标专题数据重合；将所述补充目标专题数据以及所述补充目标专题数据的数据来源、数据编号以及生成日期作为原始数据输入到中间库中；删除所述中间库中的与所述优选目标专题数据相同的补充目标专题数据，以及对应的数据来源、数据编号和生成日期；将所述新增目标专题数据以及所述新增目标专题数据的数据来源、数据编号以及生成日期作为原始数据输入到中间库中；筛选所述中间库中的原始数据中存在的问题数据，将所述中间库中去除所述问题数据的原始数据作为预处理数据输入到业务库中，同时将所述问题数据输入到问题库中；将所述预处理数据删除历史数据之后作为最终数据输入过程库中；根据所述最终数据的每一个字段的来源和生成日期建立数据来源追溯表，并将所述数据来源追溯表保存在数据来源追溯库中；在对所述最终数据进行变更时，通过所述最终数据中每一个字段的变更时间、每一个字段变更的原值、每一个字段变更的现值、每一个字段原值的数据来源、每一个字段原值的生成日期建立数据变更追溯表，并将所述数据变更追溯表保存在数据变更追溯库中；将所述过程库中的所有所述最终数据定期发送到结果库中。

2.根据权利要求1所述的基于多源数据的数据处理方法，其特征在于，所述删除所述中间库中的与所述优选目标专题数据相同的补充目标专题数据包括：通过KETTLE工具中的去重组件，将所述中间库中与所述优选目标专题数据相同的补充目标专题数据删除。

3.根据权利要求2所述的基于多源数据的数据处理方法，其特征在于，将所述中间库中去除所述问题数据的原始数据作为预处理数据输入到业务库中之前，所述方法还包括：通过KETTLE工具中的值映射组件将所述中间库中的所有所述原始数据的不同格式统一映射为同一种格式的数据。

4.根据权利要求2所述的基于多源数据的数据处理方法，其特征在于，将所述中间库中去除所述问题数据的原始数据作为预处理数据输入到业务库中之前，所述方法还包括：通过KETTLE工具中的字符串替换组件将所述中间库中的所有所述原始数据中不能识别的字符串替换为可识别的字符串。

5.根据权利要求2所述的基于多源数据的数据处理方法，其特征在于，将所述中间库中去除所述问题数据的原始数据作为预处理数据输入到业务库中之前，所述方法还包括：通过KETTLE工具中的字段值替换组件将所述中间库中的所有所述原始数据中的不同格式的字段值替换为同一种格式的字段值。

6.根据权利要求1所述的基于多源数据的数据处理方法，其特征在于，所述方法还包括：对于所述中间库中的所有所述原始数据，对于多条所述原始数据中包含的同一个实体的原始数据设置相同的编码，所述编码为唯一的字符串。