[发明专利]数据采集和监视控制系统及该系统的数据处理方法

说明书

技术领域

本发明涉及一种数据采集和监视控制系统及该系统的数据处理方法。

背景技术

数据采集和监视控制系统，即SCADA(Supervisory Control And Data Acquisition)，它是以计算机为基础的生产过程控制与调度自动化系统，它可以对现场的运行设备进行监视和控制，以实现数据采集、测量、各类信号报警、设备控制以及参数调节等各项功能，它应用领域很广，可以应用于电力、冶金、石油、化工、供水等领域的数据采集与监视控制以及过程控制等。

SCADA系统的主要特征是随着系统的运行，每天都会产生一定量的采集数据，对于一个供水行业中等规模的管网应用SCADA系统，每天的采集数据可能达到千万级。存取记录总数为亿级的表，对于关系数据库而言会因为数据存储量太大而使得查询速度较慢，同时不断增长的采集数据也会面临海量数据存储的问题，关系数据库系统很难通过简单增加更多的硬件和服务节点的方式来扩展数据存取性能和负载能力。

发明内容

本发明所要解决的技术问题是，提供数据存储空间较容易扩展、可以实现对海量数据的高效率存取的数据采集和监视控制系统。

为解决上述技术问题，本发明提供的数据采集和监视控制系统，它包括依次通讯连接的客户端、服务器和关系数据库，它还包括与服务器通讯连接的非关系数据库。

本发明所要解决的另一个技术问题是，提供可以实现对海量数据的高效率存取的数据采集和监视控制系统的数据处理方法。

为解决上述技术问题，本发明提供的数据采集和监视控制系统的数据处理方法，它包括以下步骤：

（1）、当某类数据为非结构化数据或半结构化数据，且该类数据的记录总数大于等于N时，将该类数据以键值对(Key-Value)的方式存储到非关系数据库；

当某类数据为非结构化数据或半结构化数据，且该类数据的记录总数小于N时，将该类数据存储到关系数据库；

当某类数据为结构化数据时，将该类数据存储到关系数据库；

（2）、对于存储在关系数据库中的数据，将经常作为查询条件的字段建立索引；

对于存储在非关系数据库中的数据，将作为查询条件的字段设置为行键(RowKey)的组成部分；

（3）、查询结构化数据时，根据用户的查询条件从关系数据库获取符合条件的数据；

查询存储在关系数据库中的非结构化数据和半结构化数据时，根据用户的查询条件从关系数据库获取符合条件的数据；

查询存储在非关系数据库中的非结构化数据和半结构化数据时，先根据查询条件从关系数据库获取信息来生成所需数据的行键范围，根据该行键范围从非关系数据中获取符合条件的数据。

将非结构化数据和半结构化数据存储到非关系数据库时，存储的步骤是先从关系数据库中获取对应的信息生成该数据的行键，然后将该数据以键值对(Key-Value)的方式保存到非关系数据库。

所述的N为5亿条。

采用以上系统和方法后，本发明与现有技术相比，具有以下的优点：

存储结构简单、记录总数较多的非结构化数据和半结构化数据时，采用非关系数据库存储；存储结构简单、记录总数较少的非结构化数据和半结构化数据时，采用关系数据库存储；存储结构化数据时，由于结构化数据具有结构复杂、记录总数不多特性，采用关系数据库来存储；非关系数据库对海量数据的高效率的存取，很好地解决了关系数据库海量数据存取效率方面的问题，并且非关系数据库的可扩展性和高可用性的特点，通过简单地增加非关系数据库服务器就能够扩展数据的存储，使得数据存储空间较容易扩展。

附图说明

图1是本发明数据采集和监视控制系统的结构示意图；

其中，1、客户端；2、服务器；3、非关系数据库；4、关系数据库。

具体实施方式

结合某水司的管网供水的SCADA系统的工作原理和过程，对本发明的技术方案进一步说明。