[发明专利]一种多源数据处理方法及数据工厂

说明书

本发明公开了一种多源数据处理方法及数据工厂，包括配置至少一个数据输入节点和一个数据输出节点，并在每一数据输入节点中添加对应的数据源；在所述数据源中选择待处理数据对应的输入字段，获取所述输入字段的唯一标识，基于所述唯一标识在数据源中调取对应的数据形成输入表单；在数据输入节点和数据输出节点之间配置至少一个处理节点，并在每一处理节点中添加数据处理规则，所述输入表单由数据输入节点开始经处理节点处理后汇集至数据输出节点形成汇总表单；根据处理后数据的用途配置汇总表单的输出字段形成输出表单，以实现对存储于不同数据源中的业务数据的整合与分析，处理过程可配置多种数据处理规则，灵活性强。

技术领域

本发明涉及工业互联网平台的数据处理技术领域，特别是涉及一种多源数据处理方法及数据工厂。

背景技术

对于跨行业跨领域的工业互联网平台而言，为了适应不同行业的企业，平台中大多包含有各种各样的业务场景，例如设备管理、库房管理、生产管理等等，每个管理场景下还可能包含更多的细分业务，如设备管理场景下的设备点检业务、设备维修业务和设备保养业务等。为了使每个业务能够独立的被不同的企业使用，业务场景都是独立运营的，这使得每个业务场景下对应的业务数据也是独立储存的。

但是独立的业务数据难以对不同业务领域或不同数据源的数据进行动态整合和分析，导致无法基于实时且真实的数据进行分析，不利于企业的管理和发展。

发明内容

有鉴于此，本发明的目的在于提供一种多源数据处理方法及数据工厂，以解决现有技术中无法跨领域跨行业对业务数据进行整合分析的问题。

为达到上述目的，本发明的第一方面提供一种多源数据处理方法，包括以下步骤：

S1：配置至少一个数据输入节点和一个数据输出节点，并在每一数据输入节点中添加对应的数据源；

S2：在所述数据源中选择待处理数据对应的输入字段，获取所述输入字段的唯一标识，基于所述唯一标识在数据源中调取对应的数据形成输入表单；

S3：在数据输入节点和数据输出节点之间配置至少一个处理节点，并在每一处理节点中添加数据处理规则，所述输入表单由数据输入节点开始经处理节点处理后汇集至数据输出节点形成汇总表单；

S4：根据处理后数据的用途配置汇总表单的输出字段形成输出表单。

进一步的，所述步骤S3配置处理节点的具体方法为：

S301：在所述数据输入节点与数据输出节点之间配置至少一个处理节点，当所述处理节点为多个时，以前一处理节点作为后一处理节点的上游节点，后一处理节点作为前一处理节点的下游节点，所述上游节点和下游节点之间逐级指向；

S302：根据数据处理要求，对每一处理节点配置数据处理规则；

S303：分别将各数据输入节点中的输入表单导入配置于其末端的第一个处理节点，由第一个处理节点开始对输入表单进行处理，各处理节点对输入表单处理后形成的处理结果可视为其下游节点的输入表单逐级向后传递并处理，直至汇集于数据输出节点首端的最后一个处理节点，经所述最后一个处理节点处理后形成汇总表单。

进一步的，在步骤S302中，所述数据处理规则至少包括筛选过滤、分组汇总、抽取转换和横向/纵向连接，每一数据节点中均配置有筛选过滤、分组汇总、抽取转换和横向/纵向连接中的一种数据处理规则。

进一步的，在步骤S303中，当处理节点的处理规则配置为筛选过滤时，所述处理节点对输入表单进行处理的具体方法为：

接收来自于数据输入节点或上游节点的输入表单，确定至少一个输入字段为筛选字段或过滤字段，利用所述筛选字段在输入表单中提取该筛选字段对应的数据形成一新的表单并向后传递至其下游节点或数据输出节点中，或利用所述过滤字段在输入表单中对该过滤字段对应的数据过滤后形成一新的表单并向后传递至其下游节点或数据输出节点中。