[发明专利]一种流量大数据的处理方法和系统

说明书

技术领域

本发明涉及云计算与大数据处理，具体涉及一种流量大数据的处理方法和系统。

背景技术

数字信号处理技术具有灵活、精确、抗干扰性强、速度快等突出优点，这些都是模拟信号处理技术所无法比拟的。目前由于硬件资源的限制，对时差法流量计采集的数据进行数据处理的方法使用还比较少，多使用均值法，这很难去除数据中的误差量，达不到提高精度的效果，而且容易造成流量显示滞后的现象。

时差法流量计的测量数据中往往存在误差，这些误差主要来自于以下两个方面：①流体中的气泡、杂质等对超声波产生的发射、折射和吸收；②超声波在管壁中的传播时间以及电路延迟、环境温湿度等造成的误差等。因此超声波流量计测量的时差数据是一系列含有误差的数据系列，需要对数据进行处理以产生较稳定的数据。

发明内容

为了解决上述问题，本发明提出了一种流量大数据的处理方法和系统，能够有效地消除外界干扰信号带来的误差数据，提高超声波流量计的测量精度。

为了达到上述目的，本发明提出了一种流量大数据的处理方法，该方法包括：

获取时差法超声波流量计测量的一组在线数据X(i)，其中，1≤i≤n，n为正整数。

获取X(i)首部的最前八个数据和X(i)尾部的最后八个数据。

将该最前八个数据和最后八个数据分别进行反序排列。

采用反序排列后的最前八个数据取代X(i)中原始的最前八个数据，并采用反序排列后的最后八个数据取代所述X(i)中原始的最后八个数据，形成新的数据序列X’(i)。

将X’(i)依据53H算法进行处理，获取数据序列X’3(i)。

采用X’3(5)至X’3(8)的数据分别取代X(i)中的X(1)至X(4)，并且采用X’3(n-7)至X’3(n-4)的数据分别取代X(i)中的X(n-3)至X(n)，形成基于X(i)的新的数据序列X”(i)。

优选地，

将最前八个数据和最后八个数据分别进行反序排列是指：将X(i)中的X(1)至X(8)反序排列为X(8)至X(1)，将X(i)中的X(n-7)至X(n)反序排列为X(n)至X(n-7)。

新的数据序列X’(i)是指：序列X(8)→X(1),X(9)……X(n-8),X(n)→X(n-7)。

优选地，53H算法是指：

对于数据序列Y(i)，其中，1≤i≤n，n为正整数；从i＝3开始至i＝n-2结束，依次获取(Y(i-2)、Y(i-1)、Y(i)、Y(i+1)Y(i+2))的中值，分别作为新的数据序列Y1(i)的数据，其中，Y1(i)的项数比Y(i)少4项。

对于数据序列Y1(i)，从i＝4开始至i＝n-3结束，依次取(Y1(i-1)、Y1(i)、Y1(i+1))的中值，分别作为新的数据序列Y2(i)的数据，其中，X2(i)的项数比Y(i)少6项。

依据等式Y3(i)＝0.25*Y2(i-1)+0.5*Y2(i)+0.25*Y2(i+1)，构造新的数据序列Y3(i)，其中，从i＝5开始至i＝n-4结束，Y3(i)的项数比Y(i)少8项。

判断|Y(i)-Y3(i)|>ε是否成立，其中，ε为预定的经验值；如果|Y(i)-Y3(i)|>ε成立，采用Y3(i)的值代替Y(i)；如果|Y(i)-Y3(i)|>ε不成立，保留原始的Y(i)序列。

优选地，该方法还包括：对获得的新的数据序列X”(i)中的数据进行分组，并计算每一组数据的方差值，采用平滑曲线连接各组计算出的方差值，获得X”(i)的数据方差变化图。

为了达到上述目的，本发明还提出了一种流量大数据的处理系统，该系统包括：，第一获取模块、第二获取模块、反序排列模块、第一取代模块、算法处理模块和第二取代模块。

第一获取模块，用于获取时差法超声波流量计测量的一组在线数据X(i)，其中，1≤i≤n，n为正整数。

第二获取模块，用于获取X(i)首部的最前八个数据和X(i)尾部的最后八个数据。

反序排列模块，用于将最前八个数据和最后八个数据分别进行反序排列。

第一取代模块，用于采用反序排列后的最前八个数据取代X(i)中原始的最前八个数据，并采用反序排列后的最后八个数据取代X(i)中原始的最后八个数据，形成新的数据序列X’(i)。

算法处理模块，用于将X’(i)依据53H算法进行处理，获取数据序列X’3(i)。