[发明专利]批量数据的处理方法、装置及电子设备

权利要求书

1.一种批量数据的处理方法，其特征在于，包括：

获取待处理的批量元数据；

对所述批量元数据进行解析，以确定所述批量元数据所属的业务场景、各个元数据的采集时间及数据类型；

根据所述业务场景、各个元数据的采集时间及数据类型，确定第一数据处理模式；

基于所述第一数据处理模式，对所述批量元数据进行处理。

2.如权利要求1所述的方法，其特征在于，所述确定第一数据处理模式，包括：

确定当前的数据处理规则及各个处理规则间的执行顺序。

3.如权利要求2所述的方法，其特征在于，所述数据处理规则，包括以下规则中的至少一种：格式归一化、基于边界限值的异常数据剔除、基于指定时间间隔的数据剔除、基于同类数据的多个监测点数据的合并、基于业务场景的异常数据剔除及基于已知数据的缺失数据填充。

4.如权利要求1-3任一所述的方法，其特征在于，所述基于所述第一数据处理模式，对所述批量元数据进行处理，包括：

对所述第一数据处理模式处理后的第一输出数据进行偏差检测，以确定所述第一输出数据是否存在偏差数据；

在所述第一输出数据中存在偏差数据的情况下，根据所述偏差数据及所述业务场景、各个元数据的采集时间及数据类型，确定第二数据处理模式；

基于所述第二数据处理模式，对所述批量元数据进行处理。

5.如权利要求1-3任一所述的方法，其特征在于，所述基于所述第一数据处理模式，对所述批量元数据进行处理，包括：

基于所述第一数据处理模式中各处理规则及执行顺序，对所述批量元数据依次进行处理，以获取每个处理规则对应的输入数据及输出数据；

对所述第一数据处理模式处理后的第二输出数据进行偏差检测，以确定所述第二输出数据是否存在偏差数据；

在所述第二输出数据中存在偏差数据的情况下，根据所述偏差数据及所述业务场景、各个元数据的采集时间及数据类型，确定第三数据处理模式；

在所述第三数据处理模式中前N个处理规则与所述第一数据处理模式中的前N个处理规则相同、且执行顺序相同的情况下，将所述第一数据处理模式中第N个处理规则对应的输出数据，作为所述第三数据处理模式中第N+1个处理规则的输入数据，以完成所述第三数据处理模式对所述批量元数据的处理过程，其中，N为正整数。

6.如权利要求5所述的方法，其特征在于，在所述将所述第一数据处理模式中第N个处理规则对应的输出数据N，作为所述第三数据处理模式中第N+1个处理规则的输入数据之前，还包括：

以所述前N个处理规则的标识及对应的执行顺序为索引，从数据库中检索并获取所述第N个处理规则对应的输出数据。

7.如权利要求5所述的方法，其特征在于，在所述完成所述第三数据处理模式对所述批量元数据的处理过程之后，还包括：

对所述第三数据处理模式处理后的第三输出数据进行偏差检测，以确定所述第三输出数据是否存在偏差数据；

在所述第三输出数据中未存在偏差数据的情况下，将数据库中所述每个处理规则对应的输入数据及输出数据删除。

8.一种批量数据的处理装置，其特征在于，包括：

第一获取模块，用于获取待处理的批量元数据；

第一确定模块，用于对所述批量元数据进行解析，以确定所述批量元数据所属的业务场景、各个元数据的采集时间及数据类型；

第二确定模块，用于根据所述业务场景、各个元数据的采集时间及数据类型，确定第一数据处理模式；

第一处理模块，用于基于所述第一数据处理模式，对所述批量元数据进行处理。

9.如权利要求8所述的装置，其特征在于，所述第二确定模块，包括：

第一确定单元，用于确定当前的数据处理规则及各个处理规则间的执行顺序。