[发明专利]一种时序数据清洗方法及系统

权利要求书

1.一种时序数据清洗方法，其特征在于，具体包括以下步骤：

步骤1：采集一条原始数据，所述原始数据中包括多个原始时序数据；

步骤2：对原始时序数据进行随机采样和估计得到多条估计数据，对随机采样产生的空缺点补齐，获得多条补齐估计数据；

步骤3：按采样时间点对所有补齐估计数据进行分类，获得多组时间分类数据，并对每组时间分类数据按照大小进行排序得到多组排序数组；

步骤4：对每组排序数组进行处理获得一个对应的平均值数据，多组排序数组对应多个平均值数据，多个平均值数据构成均值序列；

步骤5：输出均值序列，所述均值序列即为清除野点和高频噪声的数据；

具体地，步骤4具体包括：

步骤4.1：取一组排序数组作为当前排序数组；

步骤4.2：计算当前排序数组中所有补齐估计数据的平均值获得平均值数据，并将当前排序数组中的最大值数据和最小值数据均替换为平均值数据，对当前排序数组重新排序，得到新最大值数据和新最小值数据；

步骤4.3：判断当前排序数组中的新最大值数据和新最小值数据是否均接近平均值数据；如果是，执行步骤4.4；否则，执行步骤4.2；

步骤4.4：采用平均值数据替换当前排序数组；

步骤4.5：判断是否还存在未替换的排序数组，如果是，执行步骤4.1；否则，执行步骤4.6；

步骤4.6：多组排序数组对应多个平均值数据，多个平均值数据构成均值序列。

2.根据权利要求1所述的一种时序数据清洗方法，其特征在于，所述步骤4.3中的当最大值数据与平均值数据的差值小于第一预设阈值的同时，最小值数据与平均值数据的差值小于第二预设阈值时，判定当前排序数组中的最大值数据和最小值数据接近平均值数据；其中第一预设阈值与第二预设阈值相同或不同。

3.根据权利要求1或2所述的一种时序数据清洗方法，其特征在于，所述步骤2具体包括以下步骤：

步骤2.1：对原始时序数据进行不规则随机采样，获得多条非等采样区间数据；

步骤2.2：对所有非等采样区间数据进行估计得到多条估计数据；

步骤2.3：对多条估计数据中由于随机采样产生的空缺点进行补齐，获得包含多个点数据的多条补齐估计数据。

4.根据权利要求3所述的一种时序数据清洗方法，其特征在于，所述步骤2.1中采用预设的采样率对原始时序数据进行不规则随机采样。

5.根据权利要求3所述的一种时序数据清洗方法，其特征在于，所述步骤2.2中采用自适应动力学模型和卡尔曼滤波对非等采样区间数据进行估计。

6.根据权利要求3所述的一种时序数据清洗方法，其特征在于，所述步骤2.3中采用线性插值补齐的方式补齐由于随机采样产生的空缺点。

7.一种时序数据清洗系统，其特征在于，包括采集模块、处理模块、分类排序模块、均值模块和输出模块；

所述采集模块用于采集一条原始数据，所述原始数据中包括多个原始时序数据；

所述处理模块用于对原始时序数据进行随机采样和估计得到多条估计数据，对随机采样产生的空缺点补齐，获得多条补齐估计数据；

所述分类排序模块用于按采样时间点对所有补齐估计数据进行分类，获得多组时间分类数据，并对每组时间分类数据按照大小进行排序得到多组排序数组；

所述均值模块用于对每组排序数组进行处理获得一个对应的平均值数据，多组排序数组对应多个平均值数据，多个平均值数据构成均值序列；

所述输出模块用于输出均值序列，所述均值序列即为清除野点和高频噪声的数据；

具体地，所述均值模块包括计算模块和替换模块，其中：

所述计算模块用于计算所有排序数组中所有补齐估计数据的平均值获得多个平均值数据，并将每个排序数组中的最大值数据和最小值数据均替换为平均值数据；

所述替换模块用于当排序数组中的最大值数据和最小值数据均接近平均值数据时，采用平均值数据替换当前排序数组；多组排序数组对应多个平均值数据，获得多个平均值数据构成均值序列。

8.根据权利要求7所述的一种时序数据清洗系统，其特征在于，所述处理模块包括采样模块、估计模块和补齐模块；

所述采样模块用于对原始时序数据进行不规则随机采样，获得多条非等采样区间数据；

所述估计模块用于对所有非等采样区间数据进行估计得到多条估计数据；

所述补齐模块用于对多条估计数据中由于随机采样产生的空缺点进行补齐，获得包含多个点数据的多条补齐估计数据。