[发明专利]目标数据导入方法、介质、装置和计算设备

说明书

本申请的实施方式提供了一种目标数据导入方法、介质、装置和计算设备。该方法包括：对监听到的目标任务进行解析，得到目标任务对应的多个数据源；为目标任务配置工作节点，工作节点用于从多个数据源获取目标数据，并将目标数据导入到目标任务对应的服务系统中。本申请实施例能够将来自多个数据源的数据导入到目标任务对应的服务系统中，可通用化处理来自各类型数据源的数据，实现数据同步，提升了系统的通用性、可扩展性和可用性，降低了人工成本。

背景技术

本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着互联网的高速发展，数据爆炸式增长，对来自各类型数据源的数据进行有效组织和管理已经日益成为越来越重要的需求。实现特定功能的各种服务系统也需要从各类型数据源获取数据，例如搜索引擎需要从多个数据源获取数据以便为用户提供搜索服务。

由于各类型数据源的差异性，在将数据导入到服务系统的过程中，需要针对各个具体业务对数据进行定制化处理。定制化处理存在以下的缺陷：

1)可扩展性差。例如，增加一个业务时，需要针对该业务所需要导入的数据重新进行开发具体的定制化处理方法。

2)通用性差。例如，针对各类业务，需要开发人员了解具体的业务逻辑。

3)可用性低。例如，开发人员需要对每一个业务进行单独维护。

综上，基于定制化处理的数据导入需要消耗较大的人工成本，并且系统的可扩展性、通用性和可用性都较差。

发明内容

本申请期望提供一种目标数据导入方法和装置，以解决上述技术问题中的至少一项。

在本申请实施方式的第一方面中，提供了一种目标数据导入方法，包括：

对监听到的目标任务进行解析，得到目标任务对应的多个数据源；

为目标任务配置工作节点，工作节点用于从多个数据源获取目标数据，并将目标数据导入到目标任务对应的服务系统中。

在本申请的一个实施例中，对监听到的目标任务进行解析之前，还包括：

获取目标任务对应的索引列字段，索引列字段是在多个数据源的数据字段中指定的；

根据索引列字段得到关联字段，关联字段用于对从多个数据源获取的目标数据进行合并操作；

根据目标任务对应的服务系统、索引列字段、索引列字段对应的数据源和关联字段创建目标任务。

在本申请的一个实施例中，从多个数据源获取目标数据，包括：

获取第一数据源中包含索引列字段对应的第一离线数据的第一数据表；

按照预设周期从第二数据源中获取索引列字段对应的第二离线数据，在第一数据源中建立第二数据表，将第二离线数据存储到第二数据表中；

通过关联字段将第一数据表和第二数据表进行合并操作，得到联合数据，将联合数据作为目标数据。

在本申请的一个实施例中，合并操作包括：

从第一数据表中获取关联字段对应的第一字段值，并从第二数据表中获取关联字段对应的第二字段值；

在第一字段值与第二字段值相同的情况下，将第一数据表中包含第一字段值的第一记录添加到第二数据表中包含第二字段值的第二记录中。

在本申请的一个实施例中，从多个数据源获取目标数据，还包括：

将获取第二离线数据之后更新的第二数据源中的索引列字段对应的实时数据添加到目标数据中。