[发明专利]数据融合方法及装置

说明书

本发明提供了一种数据融合方法及装置。本发明实施例中，通过确定当前数据融合业务所需的多个目标数据处理组件以及每个目标数据处理组件对应的参数的参数值，获取多个目标数据处理组件之间的关联信息，根据目标数据处理组件对应的代码、参数值以及关联信息，生成目标数据融合程序，基于目标数据融合程序对数据进行融合处理，将复杂耗时的数据融合程序编写过程用简单的模块化的组件组合代替，自动生成程序，不需要人工编写程序代码，缩短了获得数据融合程序所需的时间，因此提高了数据融合的处理效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据融合方法及装置。

背景技术

大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，它具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据的数据表(或数据集)的每个属性就是一个维度，每个维度都具备自己的取值范围和数据类型。多维数据表的属性可以达到几千、几万甚至几十万。

数据融合是一种对已有的大规模多维数据进行合理、有效地整合、转换、去重和清洗处理的技术，数据融合的过程可以看作是降熵的过程。相关技术中，针对每种业务需求，分别人工编写数据融合程序代码，来对数据进行融合处理。当数据种类特别多的时候，代码量非常巨大。这种方式由于需要较多的人工操作，耗费时间较多，导致处理效率低下。

发明内容

为克服相关技术中存在的问题，本说明书提供了一种数据融合方法及装置。

根据本发明实施例的第一方面，提供一种数据融合方法，所述方法包括：

确定当前数据融合业务所需的多个目标数据处理组件，以及确定每个所述目标数据处理组件对应的参数的参数值，所述目标数据处理组件为预设的数据融合组件库中的组件，所述数据融合组件库中的每个组件对应一组代码；

获取所述多个目标数据处理组件之间的关联信息，所述关联信息用于指示所述多个目标数据处理组件之间的逻辑连接关系；

根据所述目标数据处理组件对应的代码、所述参数值以及所述关联信息，生成目标数据融合程序；

基于所述目标数据融合程序对数据进行融合处理。

根据本发明实施例的第二方面，提供一种数据融合装置，所述装置包括：

组件确定模块，用于确定当前数据融合业务所需的多个目标数据处理组件，以及确定每个所述目标数据处理组件对应的参数的参数值，所述目标数据处理组件为预设的数据融合组件库中的组件，所述数据融合组件库中的每个组件对应一组代码；

关系获取模块，用于获取所述多个目标数据处理组件之间的关联信息，所述关联信息用于指示所述多个目标数据处理组件之间的逻辑连接关系；

程序生成模块，用于根据所述目标数据处理组件对应的代码、所述参数值以及所述关联信息，生成目标数据融合程序；

数据融合模块，用于基于所述目标数据融合程序对数据进行融合处理。

本说明书的实施例提供的技术方案可以包括以下有益效果：

本说明书实施例中，通过确定当前数据融合业务所需的多个目标数据处理组件以及每个目标数据处理组件对应的参数的参数值，获取多个目标数据处理组件之间的关联信息，根据目标数据处理组件对应的代码、参数值以及关联信息，生成目标数据融合程序，基于目标数据融合程序对数据进行融合处理，将复杂耗时的数据融合程序编写过程用简单的模块化的组件组合代替，自动生成程序，不需要人工编写程序代码，缩短了获得数据融合程序所需的时间，因此提高了数据融合的处理效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

附图说明