[发明专利]目标数据导入方法、介质、装置和计算设备

权利要求书

1.一种目标数据导入方法，其特征在于，包括：

对监听到的目标任务进行解析，得到所述目标任务对应的多个数据源；

为所述目标任务配置工作节点，所述工作节点用于从所述多个数据源获取目标数据，并将所述目标数据导入到所述目标任务对应的服务系统中；

其中，所述对监听到的目标任务进行解析之前，还包括：

获取所述目标任务对应的索引列字段，所述索引列字段是在所述多个数据源的数据字段中指定的，所述目标任务对应的索引列字段包括所述多个数据源中每个数据源对应的索引列字段；

根据所述目标任务对应的索引列字段确定所述多个数据源具有的共同字段，基于所述共同字段得到关联字段，所述关联字段用于对从所述多个数据源获取的目标数据进行合并操作；

根据所述目标任务对应的服务系统、所述索引列字段、所述索引列字段对应的数据源和所述关联字段创建所述目标任务。

2.根据权利要求1所述的方法，其特征在于，所述从所述多个数据源获取目标数据，包括：

获取第一数据源中包含所述索引列字段对应的第一离线数据的第一数据表；

按照预设周期从第二数据源中获取所述索引列字段对应的第二离线数据，在第一数据源中建立第二数据表，将所述第二离线数据存储到所述第二数据表中；

通过所述关联字段将所述第一数据表和所述第二数据表进行合并操作，得到联合数据，将所述联合数据作为所述目标数据。

3.根据权利要求2所述的方法，其特征在于，所述合并操作包括：

从所述第一数据表中获取所述关联字段对应的第一字段值，并从所述第二数据表中获取所述关联字段对应的第二字段值；

在所述第一字段值与所述第二字段值相同的情况下，将所述第一数据表中包含所述第一字段值的第一记录添加到所述第二数据表中包含所述

第二字段值的第二记录中。

4.根据权利要求2或3所述的方法，其特征在于，所述从所述多个数据源获取目标数据，还包括：

将获取所述第二离线数据之后更新的所述第二数据源中的所述索引列字段对应的实时数据添加到所述目标数据中。

5.根据权利要求4所述的方法，其特征在于，将实时数据添加到所述目标数据中，包括：

从消息系统获取所述实时数据，将获取的实时数据添加到所述目标数据中；其中，所述消息系统用于存取所述实时数据。

6.根据权利要求1至3中任一项所述的方法，其特征在于，所述工作节点包括数据源节点和数据消费节点，所述数据源节点用于从所述多个数据源获取目标数据，所述数据消费节点用于将所述目标数据导入到所述目标任务对应的服务系统中。

7.根据权利要求6所述的方法，其特征在于，所述数据源节点还用于：通过数据通道将所述目标数据发送给所述数据消费节点。

8.一种目标数据导入装置，其特征在于，包括：

解析单元，用于对监听到的目标任务进行解析，得到所述目标任务对应的多个数据源；

配置单元，用于为所述目标任务配置工作节点，所述工作节点用于从所述多个数据源获取目标数据，并将所述目标数据导入到所述目标任务对应的服务系统中；

其中，所述配置单元还用于：

获取所述目标任务对应的索引列字段，所述索引列字段是在所述多个数据源的数据字段中指定的，所述目标任务对应的索引列字段包括所述多个数据源中每个数据源对应的索引列字段；

根据所述目标任务对应的索引列字段确定所述多个数据源具有的共同字段，基于所述共同字段得到关联字段，所述关联字段用于对从所述多个数据源获取的目标数据进行合并操作；

根据所述目标任务对应的服务系统、所述索引列字段、所述索引列字

段对应的数据源和所述关联字段创建所述目标任务。