[发明专利]流程数据的过滤和压缩方法

说明书

技术领域

本发明涉及工业实时数据库，尤其是涉及一种流程数据的过滤和压缩方法。

背景技术

实时数据库(Real Time DataBase，RTDB)用于采集装置的运行数据，掌握装置的运行状况，并对生产过程的关键数据进行监控和分析，对出现的问题进行及时处理，对历史数据进行科学分析，使生产运行状态平稳，物料供应平衡，减少单耗，提高经济效益，降低成本。

目前少数美国公司垄断着工业实时数据库领域。他们的产品价格昂贵，通常只针对大型巨型企业，中等规模企业所需要的实时数据库产品报价可能要上百万人民币，高额的配置成本成为了过程控制自动化与信息化的一道门槛，制约了国内中小型企业的发展。

数据压缩方法是实时数据库的核心方法之一。目前最流行的实时数据压缩方法是美国OSI Software公司PI(Plant Information System)系统所采用的“旋转门”压缩方法，这是一种能对时序工业流程数据进行高比例压缩的优秀方法。作为一种有损压缩方法，“旋转门”压缩方法特别适合对时序化的工业流程数据进行压缩(对普通数据压缩率较低)，具有压缩率高的特点；同时不影响数据的分辨率，解压时能够较为忠实的还原历史数据。

但是“旋转门”方法还是有着以下明显的缺点：

(1)无法事先确定“临时数据集”的规模，如果存在大量的不需要压缩数据，会对内存造成极大的浪费。

(2)随着“临时数据集”规模的增大，方法的某个步骤的时间开销将成几何级数增长，成为系统瓶颈。当设备数据采样周期极短，设备状态稳定的情况下，该方法的性能将大幅下降。给日常应用带来许多问题。

发明内容

本发明所要解决的技术问题是提供一种流程数据的过滤和压缩方法，用来解决已有旋转门算法存在的缺陷。

本发明为解决上述技术问题而采用的技术方案是提出一种实时数据库的数据过滤和压缩方法，包括以下步骤：

a.临时存储关于一数据源的最大斜率Kmax、最小斜率Kmin、最大斜率数据U_Kmax和一最小斜率数据U_Kmin、以及关于该数据的上一存储点；

b.接收关于该数据源的新数据V；

c.使用该最大斜率数据U_Kmax和最小斜率数据U_Kmin分别计算两参考斜率K3、K4；

d.计算新数据的斜率K；

e.判断斜率K是否落在区间[K3，K4]内，如果是则不存储该新数据，而是进一步判断K是否包含于[Kmin，Kmax]，若Kmin＞K则令Kmin＝K且更新Ukmin＝V，若K＞Kmax则令Kmax＝K且更新Ukmax＝V；以及

f.如果K不落在[K3，K4]内，则存储该新数据，并且将该新数据作为上一存储数据；

其中K＝(V-M)/Δt1；

K3＝(U_Kmax-(M+ΔC))/Δt2；

K4＝(U_Kmin-(M-ΔC))/Δt3；

其中M为关于该数据源的上一存储数据，ΔC为压缩偏差，Δt1，Δt2，Δt3为两个待计算数据之间的时间间隔。

在本发明的一实施例中，上述步骤b之后还包括：判断该新数据是否为可信数据，如果是则进入步骤c，否则丢弃该数据，返回步骤a。

在本发明的一实施例中，步骤b之后还包括：判断是否接收过该新数据，如果是，进入步骤c，否则，临时存储该新数据，作为上一存储数据，然后返回步骤b。

在本发明的一实施例中，步骤b之后还包括：判断最大斜率Kmax、最小斜率Kmin是否为空，如果是，则利用该新数据和该上一存储数据计算最大斜率Kmax、最小斜率Kmin，然后返回步骤b。

在本发明的一实施例中，在步骤f中存储该新数据的步骤包括：将该新数据存储到一历史数据库中。

在本发明的一实施例中，在步骤f中存储该新数据的步骤包括：将新数据存储到一缓存中，且在满足一触发条件时，触发该缓存归档到一历史数据库中。

在本发明的一实施例中，在步骤a之前还包括一第一过滤流程，该第一过滤流程包括：判断该新数据的数据源是否可用、数据源的扫描属性、新数据的数据类型、新数据的数据质量的至少部分，以决定是否接收该新数据。

在本发明的一实施例中，当该新数据的数据类型为离散型时，不接收该新数据。