[发明专利]一种基于曲线拟合的时序数据处理方法

说明书

本发明公开一种基于曲线拟合的时序数据处理方法，步骤是：服务端保存每个测点最新数据的时间戳，每收到一条数据，将其时间戳与最新时间戳比对，确定是否存在数据缺失，若缺失则确定数据缺失时间段，选取数据缺失时间段的前一段和后一段的数据作为曲线拟合的样本；根据样本计算拟合曲线对应的二次函数的参数，确定数值和时间戳的函数关系；计算待拟合数据的存储周期，确定每个待拟合数据的时间戳，再根据二次函数计算每个待拟合数据的值；存储拟合计算得到的各参数。此种数据处理方法具有计算效率高、拟合误差小的特点，并且拟合计算过程在后台进行，不会对查询应用产生影响。

技术领域

本发明属于时序数据处理领域，特别涉及一种基于曲线拟合的时序数据处理方法。

背景技术

时序数据处理技术被广泛应用于广域测量系统(WAMS)、变电站监控、调度、直流、稳控等多个系统中，满足其存储海量、高频数据的需求。该技术主要用于存储秒级、毫秒级高频数据，此类型数据一般具有周期性特点，每个存储周期会产生一批数据需要存储，因此数据量极大，对数据处理的速度要求很高，并且时序数据查询要求较高的实时性、完整性、正确性，这对时序数据处理技术的可靠性、健壮性提出了更高的要求。

对于时序数据的存储，往往会由于应用、网络、服务器等的故障导致部分数据缺失，缺失数据补齐是一项费时费力的工作，目前常见的几种缺失数据补齐方法都存在一定的缺陷，传统的缺失数据补齐方法及其缺陷如下：

(1)客户端本地缓存

该方法在网络或者服务端故障时，将数据暂时缓存在客户端本地磁盘，待网络或服务端恢复后再将数据补发到服务端。该方法存在的缺陷：1)客户端本地磁盘空间有限，只能缓存部分数据；2)当客户端故障时，无法缓存故障期间的数据；3)补齐数据的过程耗时较长，缺失的数据实际已经影响到了时序数据查询的完整性。

(2)人工补齐缺失数据

当发现某段时间的数据缺失后，手工根据之前的数据进行模拟补齐。该方法存在的缺陷：1)需要人为干预，耗时耗力，且手工补齐的数据精度误差较大；2)当发现数据缺失时，实际已经造成了不良影响。

(3)查询时使用插值算法补齐

查询时使用特定的插值算法，计算出缺失的数据值返回。该方法存在的缺陷：1)当缺失数据较多时，插值会影响查询性能；2)每次查询都要计算插值点，浪费计算资源。

发明内容

本发明的目的，在于提供一种基于曲线拟合的时序数据处理方法，其具有计算效率高、拟合误差小的特点，并且拟合计算过程在后台进行，不会对查询应用产生影响。

为了达成上述目的，本发明的解决方案是：

一种基于曲线拟合的时序数据处理方法，包括如下步骤：

(1)服务端保存每个测点最新数据的时间戳，每收到一条数据，将其时间戳与最新时间戳比对，确定是否存在数据缺失，若缺失则确定数据缺失时间段，转步骤(2)，并在收到一条新数据后，更新该测点的最新时间戳；

(2)选取数据缺失时间段的前一段和后一段的数据作为曲线拟合的样本；

(3)根据样本计算拟合曲线对应的二次函数的参数，确定数值v和时间戳t的函数关系；

(4)计算待拟合数据的存储周期，确定每个待拟合数据的时间戳，再根据二次函数计算待拟合数据的值；

(5)存储拟合计算得到的各参数。

上述步骤(1)中，判断数据缺失的方法是：预设拟合阈值为λ，服务端收到一条数据后，将当前接收到的时间戳t₁与最新时间戳t₀比对，判断二者的差Δt是否大于λ，是则确定时间段[t₀,t₁]为数据缺失时间段，启动拟合计算。