[发明专利]一种大数据处理系统的数据预处理守护方法

权利要求书

1.一种大数据处理系统的数据预处理守护方法，其特征在于，所述方法包括：

对数据进行过滤、时间对齐处理，得到过滤对齐后的数据；

对过滤对齐后的数据进行分级采样，形成多级采样数据；对采样失败的数据，重新进行采样，获取多级采样数据；

对所述多级采样数据进行压缩，获得压缩后的多级采样数据；

创建数据导入进程，将压缩后的多级采样数据批量导入数据库中。

2.根据权利要求1所述的数据预处理守护方法，其特征在于，所述对数据进行过滤包括：

计算接收的数据包的MD5校验码，判断该校验码是否与已接收的数据包的MD5校验码相同，如果相同，则丢弃该数据包。

3.根据权利要求1所述的数据预处理守护方法，其特征在于，所述对数据进行时间对齐处理包括：

当同步后系统时间大于等于原系统时间时，直接将同步后系统时间作为接收数据包的时间戳；

当同步后系统时间小于原系统时间时，对后续接收的数据包，以原系统时间为起点，每间隔固定时间Δt作为数据包的时间戳，直至同步后系统时间大于等于当前接收数据包的时间戳为止；

当同步后系统时间大于等于当前接收数据包的时间戳时，继续采用同步后系统时间作为数据包的时间戳。

4.根据权利要求1所述的数据预处理守护方法，其特征在于，所述对过滤对齐后的数据进行分级采样，形成多级采样数据包括：

将所述过滤对齐后的数据按时间顺序排列，形成当前数据曲线；

基于当前数据曲线的波峰波谷位置，将所述数据曲线划分为若干递增/递减采样区间以及若干递增递减混合采样区间；

对于所述递增/递减采样区间，采用简单采样方法进行采样，获取递增/递减采样区间的采样点；

对于递增递减混合采样区间，采用基于峰值检测的采样方法进行采样，获取递增递减混合采样区间的采样点；

将所述每个递增/递减采样区间的采样点和所述每个混合采样区间的采样点按时间顺序进行合并，得到当前数据曲线的采样点；

将所述当前数据曲线的采样点形成的数据曲线作为下一级采样时的当前数据曲线，重复上述步骤，实现分级采样。

5.根据权利要求4所述的数据预处理守护方法，其特征在于，所述采用基于峰值检测的采样方法进行采样，获取递增递减混合采样区间的采样点包括：

采用峰值采样法获取所述混合采样区间的峰值点；

采用简单采样方法对所述混合采样区间进行采样获取混合采样区间的第一采样点；

将所述峰值点与所述第一采样点按照时间顺序进行合并，并去除重复的数据点，得到所述混合采样区间的采样点。

6.根据权利要求5所述的数据预处理守护方法，其特征在于，所述采用峰值采样法获取所述混合采样区间的峰值点包括：

按照时间的先后顺序，以N个数据点为一组，将所述混合采样区间依次划分为多个采样子区间；

对每个采样子区间中的数据点类型进行识别，并从各数据点类型中确定最大值点和最小值点，保留能够表征数据曲线包络的最大值点和最小值点，其余点全部丢弃；所述每个子区间的最大值点和最小值点按时间顺序合并即为混合采样区间的峰值点。