[发明专利]数据加工方法、装置和电子设备

权利要求书

1.一种数据加工方法，其特征在于，包括：

根据第一指令，获取目标地址的数据；

根据第二指令，在预存储的属性映射模板库中选择属性映射模板，其中所述属性映射模板用于对获取的数据进行属性映射，以使获取的数据符合目标格式；

基于所述获取的数据以及所述属性映射模板，创建数据处理任务；

运行所述数据处理任务以得到目标格式的数据。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据第三指令，配置第一属性映射模板，其中所述第一属性映射模板未存储在所述属性映射模板库中。

3.根据权利要求2所述的方法，其特征在于，所述第三指令为用户指令；

所述根据第三指令，配置第一属性映射模板，包括：

根据用户指令，在预存储的属性模块集合中获取多个属性模块，其中每个属性模块对应数据的至少一个字段；

根据用户指令对所述多个属性模块进行编辑，以得到所述第一属性映射模板。

4.根据权利要求3所述的方法，其特征在于，所述多个属性模块包括多个具有层级关系的键值对，其中，键表示数据的一个字段，值为字段对应的数据。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述获取的数据的量大于等于预定阈值的情况下，将创建的数据处理任务分配为集群运行任务；以及，

在所述获取的数据的量小于预定阈值的情况下，将创建的数据处理任务分配为单机运行任务。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在已创建多个数据处理任务的情况下，以异步方式运行所述多个数据处理任务。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据预设规则，对所述获取的数据进行过滤；其中，所述预设规则包括以下多者中的至少一者：

将所述属性映射模板中不存在的属性的数据删除；

将与所述属性映射模板中的属性类型不符的数据删除；

将字段值为空的属性的数据删除；

将字段值为非法字符的属性的数据删除；

将不符合Schema模式规范的属性的数据删除；

将噪声数据删除。

8.根据权利要求1-7中任一项所述的方法，其特征在于，所述方法还包括：将经过属性映射的目标格式的数据输出。

9.一种数据加工装置，其特征在于，包括：

数据获取组件，用于根据第一指示获取目标地址的数据；

模板选择组件，用于根据第二指令在预存储的属性映射模板库中选择属性映射模板，其中所述属性映射模板用于对所述数据获取组件获取的数据进行属性映射，以使获取的数据符合目标格式；

任务创建组件，用于基于所述数据获取组件获取的数据以及所述模板选择组件选择的属性映射模板，创建数据处理任务；

任务运行组件，用于运行所述数据处理任务以得到目标格式的数据。

10.根据权利要求9所述的数据加工装置，其特征在于，所述数据加工装置还包括：

模板配置组件，用于根据第三指令，配置第一属性映射模板，其中所述第一属性映射模板未存储在所述属性映射模板库中。

11.根据权利要求10所述的数据加工装置，其特征在于，所述第三指令为用户指令；

所述模板配置组件包括：属性模块获取单元和属性模块编辑单元，其中，

所述属性模块获取单元用于根据用户指令在预存储的属性模块集合中获取多个属性模块，其中每个属性模块对应数据的至少一个字段；

所述属性模块编辑单元用于根据用户指令对所述多个属性模块进行编辑，以得到所述第一属性映射模板。