[发明专利]一种工控系统曲线图的数据分层存储查询方法

说明书

 

技术领域

本发明涉及数据处理技术领域，尤其是一种工控系统曲线图的数据分层存储查询方法。

 

背景技术

随着企业的信息化建设，生产企业产生大量的实时监控数据，需要工控系统通过界面将实时数据绘制为曲线图呈现给用户使用。目前，工控系统通过网络采集各个设备、监测仪器的实时数据并存储，大多数的工控系统在绘制实时数据曲线时，通过全量取数绘制的方法，即对于每次查询操作，工控系统需要向后台数据库的实时数据表中请求满足用户要求的所有监控明细数据,再绘制曲线图。在现实环境中,如果工控系统运行时间较长，系统中的监控数据量会非常大，按照每秒采集一次计算，系统运行一年产生的数据记录数在3千多万，从海量数据中获取满足要求的数据，数据库检索时系统压力较大；同时绘制1年数据的曲线图，工控系统需要对3千万个记录点进行绘制，工控系统的计算压力也很大。

可见，目前的数据存储查询方法涉及大量的数据统计运算，消耗系统的内存与时间，如果同时查询多个曲线图，对网络的传输压力很大。基于目前绘制的曲线图虽然真实反映了系统的运行情况，但是由于大量数据在有限的显示设备上展现，许多关注点无法方便的观察到。通常的解决方法是使用高配置的服务器端与客户端、加大网络带宽、使用负载均衡等，这既增加了企业的运营成本，也增加了系统的复杂性。

 

发明内容

本发明的目的在于提供一种减轻网络传输负担、便于客户端绘图、提高服务质量、降低生产成本的工控系统曲线图的数据分层存储查询方法。

为实现上述目的，本发明采用了以下技术方案：一种工控系统曲线图的数据分层存储查询方法，该方法包括下列顺序的步骤：

（1）存储步骤：为待查询的工控系统创建分层快表，对工控系统的源数据进行处理，将处理结果存入分层快表；

（2）查询步骤：根据用户输入的查询内容，选择对应的分层快表作为数据源并从中查询，对查询出的结果集进行抽样并根据抽样结果绘制曲线图。

所述存储步骤包括如下步骤：

A1.分析工控系统的查询条件，确定其常用查询条件以及常用查询条件的单位范围；

A2.根据常用查询条件的单位范围创建对应的分层快表；

A3.根据工控系统的显示设备参数，确定常用查询条件的单位范围以内的数据量即单位数据量；

A4.依据单位范围和单位数据量来处理工控系统的源数据；

A5.将处理源数据得到的处理结果存入分层快表。

所述查询步骤包括如下步骤：

B1.根据用户输入的查询内容，分析出用户所要查询内容的查询条件及其查询范围；

B2.依据用户所要查询内容的查询范围确定对应的分层快表作为数据源；

B3.计算用户所要查询内容的查询范围中所包含的单位范围个数；

B4.根据用户所要查询内容的查询范围从数据源中查询出结果集；

B5.根据单位范围个数对查询出的结果集进行抽样，依据抽样结果绘制曲线图。

所述工控系统的显示设备参数是指工控系统显示设备的水平分辨率值，所述单位数据量大于等于显示设备的水平分辨率值。

依据单位范围和单位数据量来处理工控系统的源数据的处理方法包括如下步骤：

C1.使用K-Means算法分析单位范围内的异常数据；

C2.将单位范围进行平均划分，统计异常数据的分布情况；

将单位范围平均划分为n段，每段的范围为M，单位数据量为F,统计落在各段（m₁、m₂、m₃、……m_n）中异常数据的个数分别为（x₁、x₂、x₃、……x_n）；

C3.计算各段中异常数据的权重；

对于m_i段中的异常数据权重为q_i=x_i/∑x_n,该权重反映了当前段中异常数据的密度；

C4.按权重计算各段中的范围间隔，进行采样；

根据得到的权重，计算各段中的采样间隔，m_i段的采样间隔为M/(F*q_i)，根据各段的采样间隔,从各段中分别使用间隔采样方法抽取数据。