[发明专利]一种用于污水处理厂之间异构数据的采集存储方法

摘要

本发明涉及一种用于污水处理厂之间异构数据的采集存储方法，与现有技术相比解决了异构数据无法存储、传输带宽无法满足需要的缺陷。本发明包括以下步骤定义数据字典；调取数据；数据转化；数据文件存储。本发明减少污水处理厂上报数据带宽消耗，有效融合多家污水处理厂异构数据，并解决了海量数据的存储问题。

主权项

一种用于污水处理厂之间异构数据的采集存储方法，其特征在于，包括以下步骤：11）定义数据字典，各家污水处理厂定义自己的数据字典；所述的定义数据字典包括以下步骤：111）每个污水处理厂分别注册数据字典中处理厂字典信息，包括处理厂名称和位置信息，生成唯一的处理厂标识；112）采用CSV文件定义数据字典，包括工艺流程字典、设备字典、采集点字典，工艺流程字典、设备字典、采集点字典均由表头和实例组成；表头包括必要字段和扩展字段，必要字段为每个处理厂都必须提供的字典信息，扩展字段为根据实际情况增加的信息；其中：工艺流程字典为对处理厂污水处理工艺的定义，表头包含的必要字段包括标识ID和流程的名称，实例为组成该污水处理厂处理工艺的各个节点信息；设备字典为对处理厂中各种设备的定义，表头包含的必要字段包括标识ID、设备名字和设备所属的工艺节点，实例为处理厂中的各种设备；采集点字典为对数据采集点的定义，表头包含的必要字段包括标识ID、采集点描述、采集点在报表展示的字段、生成报表时的计算公式、采集数据的类型、数据的单位、数据正常范围的最大最小值、设备所属设备信息和虚拟点数据，虚拟点数据以virtual_前缀定义；113）将数据字典CSV文件与处理厂字典信息相关联，建立处理厂名称与相应处理厂数据字典的对应；12）调取数据，数据接入模块从多个污水处理厂获取污水处理厂现场数据，存入数据缓冲池中；13）数据转化，数据缓冲池定期把数据接入模块的数据写成包含数据字典的自解释数据文件；其以下步骤：131）数据缓冲池采用FIFO机制接收Json格式的上报数据，读取出的数据从缓冲池中删除并传给存储模块，被处理成自解释数据文件，自解释数据文件的文件名以读取时的时间戳命名；132）通过数据缓冲池定期生成自解释数据文件，自解释数据文件包括字典部分和数据部分，将处理厂字典信息添加至字典部分前面，在工艺流程ID、设备ID、采集点ID中将处理厂ID加在前面做为前缀；数据部分的表头为采集点ID、采集时间、采集数值，在采集点ID前面添加处理厂ID做为前缀，采集数值为缓冲池中处理周期内保存的所有采集数据；14）数据文件存储，存储模块定期解析自解释数据文件，将数据字典和采集数据存储到NoSQL数据库中。