[发明专利]一种多数据源的数据集成处理方法和装置

说明书

技术领域

本申请涉及网络应用系统的技术领域，特别是涉及一种多数据源的数据集成处理方法，以及，一种多数据源的数据集成装置。

背景技术

目前，随着互联网的高速发展，网络应用系统呈现出高复杂性的特点。单一系统的功能实现不再仅仅依赖于一个数据源，随着分布式思想在互联网领域的广泛应用，网络应用系统可以支持不同的数据源，如网络应用系统的远程服务、数据库直读、数据仓库等数据源。

与多数据源对应的应用场景随之出现，一个典型的应用场景是：某一个数据项（目标数据项）的具体值依赖于其它N（N>1）个数据项的相互集成计算，并且这N个数据项分别来自不同的数据源。

现有技术中，基于多数据源的数据集成处理方法具体可以包括如下步骤：

步骤1、针对所需的数据项，根据业务场景从各数据源获取相应的各数据，具体可以包括：向数据源A请求数据、向数据源B请求数据、向数据源C请求数据等等；

步骤2、将从各数据源获取的各数据进行集成；

步骤3、根据业务场景对获取的各数据进行数据集成处理（例如对各数据进行相加操作的等）；

步骤4、输出数据集成处理结果。

由于上述方法流程是面向特定的业务场景的，如果业务场景发生变化，则需要修改步骤1-步骤4对应的计算机程序代码，并在修改完成后重新发布；并且，随着应用场景的增多，只能通过重新开发计算机程序代码的方式来实现多数据源的数据集成处理，因此，现有技术中基于多数据源的数据集成处理方法增加了开发和维护的难度，严重影响了数据集成处理的效率。

总之，需要本领域技术人员迫切解决的一个技术问题就是：如何能够降低多数据源的数据集成处理的开发和维护的难度，提高多数据源的数据集成处理的效率。

发明内容

本申请所要解决的技术问题是提供一种多数据源的数据集成处理方法，用以降低多数据源的数据集成处理的开发和维护的难度，提高多数据源的数据集成处理的效率。

相应的，本申请还提供了一种多数据源的数据集成处理装置，用以保证上述方法在实际中的应用。

为了解决上述问题，本申请公开了一种多数据源的数据集成处理方法，包括：

获得当前数据集成处理所需的目标数据项的信息；

依据预置的数据项与数据源的映射关系，按照所述目标数据项的信息从对应的多个数据源中分别提取相应的数据项，以形成目标数据项；

将所述目标数据项按照预置的目标数据项集成计算规则进行相应的集成计算。

优选地，所述数据项与数据源的映射关系预置在多数据源模型中，所述数据源为n个，所述n为大于1的正整数。

优选地，所述依据预置的数据项与数据源的映射关系，按照所述目标数据项的信息从对应的多个数据源中分别提取相应的数据项，以形成目标数据项的步骤包括：

将所述当前数据集成处理所需的目标数据项的信息输入所述多数据源模型；

由所述多数据源模型依据预置的数据项与数据源的映射关系，获得所述目标数据项的信息对应的多个数据源并输出；

向所述多个数据源发起对应数据项的获取请求；

接收所述多个数据源依据该请求返回的数据项，所述返回的数据项组成目标数据项。

优选地，所述目标数据项的集成计算规则预置在集成计算模型中。

优选地，所述将目标数据项按照预置的目标数据项集成计算规则进行相应的集成计算的步骤包括：

将所述目标数据项输入所述集成计算模型；

由所述集成计算模型采用所述集成计算规则对所述目标数据项进行相应的集成计算，获得集成计算结果并输出。

优选地，所述目标数据项为多个数据项的集合，所述各个数据项分别来自不同的数据源。

本发明实施例还公开了一种多数据源的数据集成装置，包括：

目标数据项信息获取模块，用于获得当前数据集成处理所需的目标数据项的信息；

目标数据项提取模块，用于依据预置的数据项与数据源的映射关系，按照所述目标数据项的信息从对应的多个数据源中分别提取相应的数据项，以形成目标数据项；

集成计算模块，用于将所述目标数据项按照预置的目标数据项集成计算规则进行相应的集成计算。

优选地，所述装置还包括：

所述数据项与数据源的映射关系预置在多数据源模型中，所述数据源为n个，所述n为大于1的正整数。

优选地，所述目标数据项提取模块包括：