[发明专利]一种多源异构数据处理方法、系统及相关装置

权利要求书

1.一种多源异构数据处理方法，其特征在于，包括：

采集目标业务系统端的多源异构数据，并建立对应的索引信息；

查询预处理构件知识库，并确定所述预处理构件知识库中与所述索引信息相似度最高的案例；

在预处理流程库中确定所述案例对应的预处理流程后，依据所述预处理流程对所述多源异构数据进行相应的预处理，并将预处理后的多源异构数据发送至终端进行数据处理；

其中，所述采集目标业务系统端的多源异构数据，并建立对应的索引信息，包括：

在采集所述多源异构数据后，对所述多源异构数据的数据类型、数据量大小进行标记得到标记信息，并将所述标记信息作为所述索引信息。

2.根据权利要求1所述的多源异构数据处理方法，其特征在于，所述将预处理后的多源异构数据发送至终端进行数据处理之后，还包括：

将数据处理后的多源异构数据发送至服务器集群，并依据所述数据处理后的多源异构数据的数据特征进行关系型或非关系型数据存储；

将MongoDB中的GirdFS数据同步到SOLR引擎。

3.根据权利要求2所述的多源异构数据处理方法，其特征在于，所述将MongoDB中的GirdFS数据同步到SOLR引擎，包括：

在判断所述GirdFS数据与所述SOLR引擎的同步状态后，将未同步的GirdFS数据进行GirdFS数据读取并转换为字符串格式的GirdFS数据；

将所述字符串格式的GirdFS数据同步到所述SOLR引擎，并更新所述同步状态。

4.根据权利要求1所述的多源异构数据处理方法，其特征在于，所述查询预处理构件知识库，并确定所述预处理构件知识库中与所述索引信息相似度最高的案例，包括：

查询所述预处理构件知识库，并依据所述数据类型、所述数据量大小确定所述预处理构件知识库中与所述索引信息相似度最高的所述案例。

5.根据权利要求1所述的多源异构数据处理方法，其特征在于，若在所述预处理构件知识库中匹配到所述相似度低于预设阈值的案例，则依据未知结构方式对所述多源异构数据进行处理，并将相应的索引信息、预处理流程分别存储至所述预处理构件知识库、所述预处理流程库。

6.根据权利要求1至5任一项所述的多源异构数据处理方法，其特征在于，还包括：

对所述预处理构件知识库、所述预处理流程库执行更新操作。

7.一种多源异构数据处理系统，其特征在于，包括：

索引信息建立模块，用于采集目标业务系统端的多源异构数据，并建立对应的索引信息；

案例确定模块，用于查询预处理构件知识库，并确定所述预处理构件知识库中与所述索引信息相似度最高的案例；

预处理模块，用于在预处理流程库中确定所述案例对应的预处理流程后，依据所述预处理流程对所述多源异构数据进行相应的预处理，并将预处理后的多源异构数据发送至终端进行数据处理；

其中，索引信息建立模块包括：

索引信息建立单元，用于在采集多源异构数据后，对多源异构数据的数据类型、数据量大小进行标记得到标记信息，并将标记信息作为索引信息。

8.一种服务器集群，其特征在于，包括：

存储器和处理器；其中，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现如权利要求1至6任一项所述的多源异构数据处理方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的多源异构数据处理方法的步骤。