[发明专利]数据管理的方法、装置及系统

说明书

本说明书实施例提供了一种数据管理的方法、装置及系统，该方法包括：接收回流任务创建请求；其中，该回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；根据源表配置信息和回流任务参数配置信息，确定创建回流任务所需的参数数据；其中，该参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及回流任务的回流周期；调用任务创建接口，以使任务创建接口所对应的任务创建节点根据映射关系和回流周期创建回流任务。

技术领域

本说明书涉及数据处理领域，尤其涉及一种数据管理的方法、装置及系统。

背景技术

随着信息技术的发展，越来越多的互联网应用都涉及到海量数据的存储。数据通常以表的形式存储在数据库中。在大数据时代，数据需要不断的进行流转、交换才能使得其价值最大化。为了便于数据的管理及流转，一般需要将获取的各种离线数据写入到线上数据库中。例如，可以是线上HBase数据库等。将离线数据写入线上数据库也可称为数据回流，为了实现离线数据回流到线上数据库，需要针对待回流数据创建回流任务，并将该回流任务部署在离线数据生产系统中，以使得生产系统根据回流任务将待回流数据回流到线上数据库。

现阶段，大都是通过人工方式创建回流任务，使得回流任务的创建周期较长。因此，有必要提出一种技术方案，以实现回流任务的自动创建，从而降低回流任务的创建周期。

发明内容

本说明书实施例的目的是提供一种数据管理的方法、装置及系统，在接收到用户提交的回流任务创建请求后，根据该回流任务创建请求中携带的源表配置信息和回流任务参数配置信息，确定创建回流任务所需要的参数数据；其中，该参数数据可以包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及回流任务的回流周期；调用任务创建接口，以使任务创建接口所对应的任务创建节点根据上述映射关系和回流周期创建回流任务；在本说明书实施例中，通过调用任务创建接口实现了回流任务的自动化创建，避免了采用人工编写代码的方式创建回流任务，从而降低了回流任务的创建周期，并且，节省了人力。

为解决上述技术问题，本说明书实施例是这样实现的：

本说明书实施例提供了一种数据管理的方法，包括：

接收回流任务创建请求；所述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；

根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据；其中，所述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及所述回流任务的回流周期；

调用任务创建接口，以使所述任务创建接口所对应的任务创建节点根据所述映射关系和所述回流周期创建所述回流任务。

本说明书实施例还提供了一种数据管理的装置，包括：

接收模块，接收回流任务创建请求；所述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；

确定模块，根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据；其中，所述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及所述回流任务的回流周期；

调用模块，调用任务创建接口，以使所述任务创建接口所对应的任务创建节点根据所述映射关系和所述回流周期创建所述回流任务。

本说明书实施例还提供了一种数据管理的系统，包括数据管理节点和任务创建节点；

所述数据管理节点，用于接收回流任务创建请求；所述回流任务创建请求中携带有源表配置信息和回流任务参数配置信息；根据所述源表配置信息和所述回流任务参数配置信息，确定创建所述回流任务所需的参数数据；其中，所述参数数据包括源表中的第一字段标识与目标表中的第二字段标识之间的映射关系，以及所述回流任务的回流周期；调用所述任务创建节点所对应的任务创建接口；