[发明专利]有效数据筛选方法、可读存储介质和终端

说明书

一种有效数据筛选方法、可读存储介质和终端，所述方法包括：获取待分析的数据集；对所获取的数据集中的数据进行遍历，得到遍历至的当前条数据；判断当前条数据与前一条数据相比是否变化过大；当确定当前条数据相较于前一条数据变化过大时，则基于当前条数据的前后一段时间内的数据，确定并记录对应的整段波动数据的数据波动位置；获取下一条数据，直至所述待分析的数据集全部遍历完成。上述的方案，可以提高有效数据筛选的效率和准确性。

技术领域

本发明属于数据分析技术领域，特别是涉及一种有效数据筛选方法、可读存储介质和终端。

背景技术

从2012年开始，“大数据”一词开始频繁地进入人们的视野，被广泛的接受和研究。这些规模不断壮大的数据，背后都隐藏着巨大的潜在价值，决定着众多企业和各个领域未来发展的方向和成果。现在已经有越来越多的企业意识到这些爆发式增长的数据带来的隐患，开始逐渐重视海量数据对企业的重要性。虽然大数据给人们带来了源源不断的商业信息和社会价值，但其中的问题也很明显——当今时代下的数据量过于庞大。

大数据环境下过于庞大的数据量，导致了若要从中分析出有效的信息，则需要消耗大量的资源和时间，而其中的日常均值数据和边际数据都占有很大的比重。若要减少这些计算消耗的资源和时间，除了设计出更加优秀的数据分析算法外，也可以从减少其数据规模的角度入手。

发明内容

本发明要解决的技术问题是如何提高有效数据筛选的效率和准确性。

为了达到上述目的，本发明提供一种有效数据筛选方法，所述方法包括：

获取待分析的数据集；

对所获取的数据集中的数据进行遍历，得到遍历至的当前条数据；

判断当前条数据与前一条数据相比是否变化过大；

当确定当前条数据相较于前一条数据变化过大时，则基于当前条数据的前后一段时间内的数据，确定并记录对应的整段波动数据的数据波动位置；

获取下一条数据，直至所述待分析的数据集全部遍历完成。

可选地，判断当前条数据与前一条数据相比是否变化过大，包括：

计算所述当前条数据与前一条数据之间的绝对差值，并通过将计算得到的绝对差值与预设的差值阈值进行比较，以判断当前条数据与前一条数据相比是否变化过大。

可选地，所述确定对应的整段波动数据的数据波动位置，包括：

当确定当前条数据相较于前一条数据变化过大时，将预设的n位的记录器的计数值增加预设的数值；

判断所述记录器的当前计数值是否大于预设的计数阈值；

当确定所述记录器的当前计数值大于预设的计数阈值时，获取预设的动态数组中已存储的最后一条数据波动位置的信息；

当确定所述动态数组为空或者所述动态数组中存储的最后一个有效数据所处的数据波动位置为尾节点时，确定当前条数据之前的第((n-2)-1)条数据为数据波动首节点；

当确定当前条数据的序列号减去(n-2)再加(最小连续数-1)的数值接近数据日常均值时，确定当前条数据的序列号减去(n-2)再加(最小连续数-1)条数据为数据波动的尾节点；

当确定所述动态数组非为空或者所述动态数组中存储的最后一个有效数据所处的数据波动位置非为尾节点，且当前条数据的序列号减去(n-2)再加(最小连续数-1)的数值非接近数据日常均值时，确定当前条数据之前的第(n-2)条数据为数据波动的期中节点；

将所述记录器左移X位，并将所述记录器的符号位清零；X为大于或等于1且小于n的整数。