[发明专利]一种大数据处理系统的数据预处理守护方法

说明书

本发明涉及一种大数据处理系统的数据预处理守护方法，属于大数据处理技术领域，解决了现有大数据预处理方法造成的后续数据处理精度低、效率低以及界面无法展示全部数据点的问题。方法包括：对数据进行过滤、时间对齐处理，得到过滤对齐后的数据；对过滤对齐后的数据进行分级采样，形成多级采样数据；对采样失败的数据，重新进行采样，获取多级采样数据；对所述多级采样数据进行压缩，获得压缩后的多级采样数据；创建数据导入进程，将压缩后的多级采样数据批量导入数据库中。本发明的数据预处理方法能够保证数据的完整性，提高后续大数据处理的处理精度和效率，同时能够不失真的显示多级采样数据，能够广泛应用于大数据处理领域。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种大数据处理系统的数据预处理守护方法。

背景技术

国产化大数据处理系统在实际使用中会接收多个相同单机组成的冗余数据转发计算机的数据，因此大数据处理系统接收到的数据存在大量的冗余数据。

同时，大数据处理系统在与上位机进行时间同步时，同步后系统时间与原系统时间之间有3种情况：同步后的系统时间与原系统时间没有变化、同步后的系统时间比原系统时间快、同步后的系统时间慢于原系统时间。当同步后的系统时间慢于原系统时间时，由于系统会将当前系统时间作为接收数据的时间戳，会出现先接收的数据帧的时戳晚于后接收的数据帧的时戳，即数据的时序关系出现错位。

大数据处理系统面对的数据量巨大，现有技术中通常将大量数据直接进行入库操作，经常导致数据库拥塞，服务器卡顿。

在大数据预处理阶段，数据量比较大时，试验数据点不能在界面上一次性全部展现，无法看到数据的全貌。

上述数据冗余、时间序列错位、大量数据直接入库都会降低后续大数据处理精度和处理效率；界面上无法展现全部数据点，使得无法掌握数据变化的全貌；为解决上述技术问题，本申请提供了一种大数据处理系统的数据预处理守护方法，能够消除数据冗余、校正时间序列、采用批量装载模式进行数据导入，能够大幅提高后续大数据处理精度和处理效率，同时采用分级采样方法形成不同等级的采样点数据，使得在数据预处理阶段，能快速的在高级别中看到数据的全貌，当数据浏览的级别降低，将看到越来越多的数据细节。

发明内容

鉴于上述的分析，本发明实施例旨在提供一种大数据处理系统的数据预处理守护方法，用以解决现有大数据预处理方法造成的后续数据处理精度低、效率低以及界面无法展示全部数据点的问题。

一方面，本发明实施例提供了一种大数据处理系统的数据预处理守护方法，所述方法包括：

对数据进行过滤、时间对齐处理，得到过滤对齐后的数据；

对过滤对齐后的数据进行分级采样，形成多级采样数据；对采样失败的数据，重新进行采样，获取多级采样数据；

对所述多级采样数据进行压缩，获得压缩后的多级采样数据；

创建数据导入进程，将压缩后的多级采样数据批量导入数据库中。

进一步，所述对数据进行过滤包括：

计算接收的数据包的MD5校验码，判断该校验码是否与已接收的数据包的MD5校验码相同，如果相同，则丢弃该数据包。

进一步，所述对数据进行时间对齐处理包括：

当同步后系统时间大于等于原系统时间时，直接将同步后系统时间作为接收数据包的时间戳；

当同步后系统时间小于原系统时间时，对后续接收的数据包，以原系统时间为起点，每间隔固定时间Δt作为数据包的时间戳，直至同步后系统时间大于等于当前接收数据包的时间戳为止；

当同步后系统时间大于等于当前接收数据包的时间戳时，继续采用同步后系统时间作为数据包的时间戳。