[发明专利]一种屏蔽异构数据源的方法及装置

说明书

技术领域

本发明涉及通信技术领域，尤其涉及一种屏蔽异构数据源的方法及装置。

背景技术

数据集成(Extract Transform Load，ETL)主要是从各种源系统中获取数据，再经过ETL的转换、清洗、关联、汇总等逻辑处理，最后根据业务需求将处理得到的数据加载到目标系统。ETL的数据流实现核心的抽取、转换和加载等功能，数据流中对抽取、转换、加载等逻辑抽象封装，形成多个计算步骤，通过图形化的开发模式，最终完成一个E-T-L逻辑。

在现有的ETL架构中，ETL的开发流程包括：1、在集成开发环境(Integrated Development Environment，IDE)上开发数据流模型、开发控制流模型、设置调度计划，并将数据流模型、开发控制流模型、设置调度计划保存为流程信息；2、执行装置获取相应的流程信息，并执行具体逻辑；3、监控装置通过监控界面监控相应的执行结果。现有的ETL开发流程中对于采用相同格式的数据，经过相同的计算逻辑后加载到不同的目标数据源中，若目标数据源有N个，数据流模型则需要配置N个，相应的控制流模型也需要配置N个。若增加一个数据源，则需要新增开发一套控制流模型和数据流模型，参见图1，图1是现有技术中相同格式的数据经过相同的计算逻辑后加载到不同的目标数据源时的控制流模型和数据流模型配置的示意图。在这种情况下，产品的基线开发中需要维护多个工程的流程信息，还要对多个工程的流程做相应的映射，加大了开发难度，产品流程发布成本高。此外，流程开发完成后，由于流程是分开调试，一旦发现问题，需要逐个流程进行修改，流程测试需要逐套进行测试，后期如果流程配置要升级，工作量都是多份，流程测试以及后期维护成本高。

发明内容

本发明实施例提供一种屏蔽异构数据源的方法及装置，以屏蔽不同输入数据源或目标数据源之间的差异，降低了产品流程发布或测试的实现成本。

本发明实施例第一方面提供了一种屏蔽异构数据源的方法，其可包括：

集成开发环境IDE接收用户发起的产品流程发布请求或产品流程测试请求；

所述IDE获取所述产品的配置参数以及预先为所述产品配置的数据流模型，所述数据流模型中包括接入多个输入数据源的多输入节点，所述多输入节点上配置有所述输入数据源与不同类型的配置参数的匹配关系；

所述IDE以所述产品的配置参数在所述匹配关系中查找对应的输入数据源；

所述IDE将所述数据流模型中的多输入节点替换为查找到的输入数据源，并以替换后的数据流模型作为所述产品流程发布或所述产品流程测试的数据流模型。

结合第一方面，在第一种可能的实现方式中，在所述IDE以所述产品的配置参数在所述匹配关系中查找对应的输入数据源之前，所述方法还包括：

所述IDE遍历所述数据流模型中的图元，找出所述数据流模型中为多输入节点的图元。

结合第一方面或第一方面第一种可能的实现方式，在第二种可能的实现方式中，所述IDE将所述数据流模型中的多输入节点替换为查找到的输入数据源具体包括：

将查找到的输入数据源的图元编号修改为所述多输入节点的图元编号；

删除所述多输入节点接入的除所述查找到的输入数据源外的其它输入数据源以及删除所述多输入节点。

结合第一方面至第一方面第二种可能的实现方式中任一种，在第三种可能的实现方式中，所述数据流模型中还包括连接多个目标数据源的多输出节点，所述多输出节点上配置有所述目标数据源与不同类型的配置参数的匹配关系；

所述IDE遍历所述数据流模型中的图元时，还进一步找出所述数据流模型中为多输出节点的图元。

结合第一方面第三种可能的实现方式，在第四种可能的实现方式中，所述方法还包括：

所述IDE以所述产品的配置参数在所述目标数据源与不同类型的配置参数的匹配关系中查找对应的目标数据源；

所述IDE将所述数据流模型中的多输出节点替换为查找到的目标数据源。

结合第一方面第四种可能的实现方式，在第五种可能的实现方式中，所述IDE将所述数据流模型中的多输出节点替换为查找到的目标数据源具体包括：

将查找到的目标数据源的图元编号修改为所述多输出节点的图元编号；

删除与所述多输出节点连接的除所述查找到的目标数据源外的其它目标数据源以及删除所述多输出节点。

结合第一方面至第一方面第五种可能的实现方式中任一种，在第六种可能的实现方式中，所述IDE获取所述产品的配置参数具体包括：