[发明专利]一种处理数据的方法和装置

说明书

本发明公开了一种处理数据的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：能够为一个或多个数据源类型分别设置一个或多个目标任务，根据各个目标任务包含的数据源信息，分别从所述数据源信息中指定的数据源地址获取原始数据，再根据所述目标任务包含的数据转换关系，将原始数据转换处理为目标数据，并根据所述目标任务包含的一个或多个输出数据源信息，将所述目标数据分别输出到输出数据源类型对应的输出数据源；由此克服了处理数据实时性较差、灵活性较低、效率较低的问题，提高了处理数据的效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种处理数据的方法和装置。

背景技术

随着大数据应用的广泛发展，对信息系统中的大数据处理的需求越来越频繁、越来越复杂，对大数据处理的要求也越来越高，例如：对处理复杂多变的实时数据ETL(Extract-Transform-Load，抽取-转换-加载)任务的需求，以及对高效、灵活地支持复杂数据转换和处理能力的扩充需求等。

目前，现有的大数据处理方案存在处理数据实时性差、无法处理多种类型的数据源的问题、以及处理复杂数据转换的能力较低的问题，从而造成处理大数据的实时性较差、灵活性较低，降低了处理大数据的效率。

发明内容

有鉴于此，本发明实施例提供一种处理数据的方法和装置，能够为一个或多个数据源类型分别设置一个或多个目标任务，根据各个目标任务包含的数据源信息，分别从所述数据源信息中指定的数据源地址获取原始数据，再根据所述目标任务包含的数据转换关系，将原始数据转换处理为目标数据，并根据所述目标任务包含的一个或多个输出数据源信息，将所述目标数据分别输出到输出数据源类型对应的输出数据源；由此克服了处理数据实时性较差、灵活性较低、效率较低的问题，提高了处理数据的效率。

为实现上述目的，根据本发明实施例的一个方面，提供了一种处理数据的方法，其特征在于，包括：获取预先设置的多个目标任务；针对各个所述目标任务，执行N1到N3的步骤：N1：基于所述目标任务包含的数据源类型，从所述数据源类型对应的数据源地址获取匹配于所述数据源类型的原始数据；N2：从所述原始数据中获取一个或多个属性名称以及对应的属性数据；根据所述目标任务包括的所述属性名称与数据输出信息的目标属性之间的转换关系，将所述属性名称对应的属性数据处理成匹配于所述目标属性的目标数据；N3：基于所述目标任务包含的输出数据源类型，将所述目标数据输出到所述输出数据源类型对应的输出数据源。

可选地，所述处理数据的方法，其特征在于，

所述目标任务包括父任务以及至少一个层级的一个或多个子任务；进一步包括所述父任务和一个或多个所述子任务之间的继承关系；

根据所述父任务包括的所述转换关系、所述继承关系以及一个或多个所述子任务包括的转换关系，执行N2的步骤。

可选地，所述处理数据的方法，其特征在于，进一步包括：

为所述目标任务包含的父任务以及一个或多个子任务分别构建任务实例；利用所述任务实例，执行N1到N3的步骤。

可选地，所述处理数据的方法，其特征在于，

所述转换关系包括：一对一转换、一对多转换、多对多转换中的任意一种或多种；所述将所述属性名称对应的属性数据处理成匹配于所述目标属性的目标数据，包括：通过特征关键字，确定所述转换关系为一对多转换和/或多对多转换；根据所述一对多转换和/或多对多转换，将每一条所述属性数据转换为多条目标数据。

可选地，所述处理数据的方法，其特征在于，

在所述转换关系为一对一转换的情况下，所述将所述属性名称对应的属性数据处理成匹配于所述目标属性的目标数据，包括：获取所述一对一转换包括的一组对应关系的属性名称以及目标属性，基于设定转换策略，将属性名称对应的一条属性数据转换成一条匹配于所述目标属性的目标数据。