[发明专利]一种用于污水处理厂之间异构数据的采集存储方法

说明书

技术领域

本发明涉及数据采集存储技术领域，具体来说是一种用于污水处理厂之间异构数据的采集存储方法。

背景技术

污水处理行业由于初期“重建设、轻运营”导致污水处理运营负荷率普遍偏低，在十二五“节能减排”政策的指导下，污水处理行业由原先的批量建设污水处理厂，转向提升污水处理厂的处理效率和管理水平。于是污水处理厂开始建设中控系统，通过大量数据采集及自动化控制，执行精细化运营管理。但对污水处理厂的偷排漏排、水质处理不达标等违规行为仍不能有效监督，水务公司对旗下污水处理厂也不能高效管理，因此需要把多家污水处理厂的采集数据汇总在一起，可供查询与分析。

通过污水处理厂的中控系统，可以定期采集到污水处理各个工艺节点上的运行和监测数据，再通过数据采集网关就可以把多个污水处理厂的采集数据汇总到一起。但是需要从多个污水处理厂采集数据进行汇总存储则遇到了以下问题：

1、采集数据中一般包含采集点的信息，而各家处理厂的采集点信息不同，数据具有异构性，采集到后无法将数据存储汇总；

2、采集数据的频率一般都为秒级，上报数据带有很大的冗余，传输带宽需求难以得到满足；

3、污水处理厂需要保留多年的历史数据，汇总后的数据是海量的，汇总后的数据库想要查找数据则非常困难。

如何开发出一种可以满足异构数据之间存储的数据处理方法已经成为急需解决的技术问题。

发明内容

本发明的目的是为了解决现有技术中异构数据无法存储、传输带宽无法满足需要的缺陷，提供一种用于污水处理厂之间异构数据的采集存储方法来解决上述问题。

为了实现上述目的，本发明的技术方案如下：

一种用于污水处理厂之间异构数据的采集存储方法，包括以下步骤：

定义数据字典，各家污水处理厂定义自己的数据字典；

调取数据，数据接入模块从多个污水处理厂获取污水处理厂现场数据，存入数据缓冲池中；

数据转化，数据缓冲池定期把数据接入模块的数据写成包含数据字典的自解释数据文件；

数据文件存储，数据缓冲池定期解析自解释数据文件，将数据字典和采集数据存储到NoSQL数据库中。

所述的定义数据字典包括以下步骤：

每个污水处理厂分别注册数据字典中处理厂字典信息，包括处理厂名称和位置信息，生成唯一的处理厂标识；

采用CSV文件定义数据字典，包括工艺流程字典、设备字典、采集点字典，工艺流程字典、设备字典、采集点字典均由表头和实例组成；表头包括必要字段和扩展字段，必要字段为每个处理厂都必须提供的字典信息，扩展字段为根据实际情况增加的信息；其中：

工艺流程字典为对处理厂污水处理工艺的定义，表头包含的必要字段包括标识ID和流程的名称，实例为组成该污水处理厂处理工艺的各个节点信息；

设备字典为对处理厂中各种设备的定义，表头包含的必要字段包括标识ID、设备名字和设备所属的工艺节点，实例为处理厂中的各种设备；

采集点字典为对数据采集点的定义，表头包含的必要字段包括标识ID、采集点描述、采集点在报表展示的字段、生成报表时的计算公式、采集数据的类型、数据的单位、数据正常范围的最大最小值、设备所属设备信息和虚拟点数据，虚拟点数据以virtual_前缀定义；

将数据字典CSV文件与处理厂字典信息相关联，建立处理厂名称与相应处理厂数据字典的对应。

所述的调取数据包括以下步骤：

数据接入模块以web server的方式将数据上报接口提供给各家污水处理厂；

污水处理厂组建上报数据，上报数据包括处理厂的标识ID和采集数据，采集数据中包括采集时间、采集点标识ID、采集数值，处理厂标识ID和采集点标识ID，从处理厂的数据字典中调取对应的处理厂标识ID和采集点标识ID；

上报数据使用Json格式进行编码并发送至数据缓冲池，其数据格式如下：

factory_id：从数据字典模块注册得到的处理厂标识ID；data：数组集合；data包括以下数据格式：datatime：信号点采集的时间；signal_id：在数据字典模块定义的信号点标识ID；value：信号点值。

所述的数据转化包括以下步骤：

数据缓冲池采用FIFO机制接收Json格式的上报数据，读取出的数据从缓冲池中删除并传给存储模块，被处理成自解释数据文件，自解释数据文件的文件名以读取时的时间戳命名；