[发明专利]一种用于污水处理厂之间异构数据的采集存储方法有效
申请号: | 201410175754.0 | 申请日: | 2014-04-29 |
公开(公告)号: | CN103970914B | 公开(公告)日: | 2017-08-11 |
发明(设计)人: | 孟虎;李晓洁;陈志华;夏效胜;刘胜军 | 申请(专利权)人: | 合肥城市云数据中心股份有限公司 |
主分类号: | G06F17/40 | 分类号: | G06F17/40 |
代理公司: | 合肥天明专利事务所(普通合伙)34115 | 代理人: | 张祥骞,奚华保 |
地址: | 230088 安徽省合肥市高新区*** | 国省代码: | 安徽;34 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及一种用于污水处理厂之间异构数据的采集存储方法,与现有技术相比解决了异构数据无法存储、传输带宽无法满足需要的缺陷。本发明包括以下步骤定义数据字典;调取数据;数据转化;数据文件存储。本发明减少污水处理厂上报数据带宽消耗,有效融合多家污水处理厂异构数据,并解决了海量数据的存储问题。 | ||
搜索关键词: | 一种 用于 污水处理 之间 数据 采集 存储 方法 | ||
【主权项】:
一种用于污水处理厂之间异构数据的采集存储方法,其特征在于,包括以下步骤:11)定义数据字典,各家污水处理厂定义自己的数据字典;所述的定义数据字典包括以下步骤:111)每个污水处理厂分别注册数据字典中处理厂字典信息,包括处理厂名称和位置信息,生成唯一的处理厂标识;112)采用CSV文件定义数据字典,包括工艺流程字典、设备字典、采集点字典,工艺流程字典、设备字典、采集点字典均由表头和实例组成;表头包括必要字段和扩展字段,必要字段为每个处理厂都必须提供的字典信息,扩展字段为根据实际情况增加的信息;其中:工艺流程字典为对处理厂污水处理工艺的定义,表头包含的必要字段包括标识ID和流程的名称,实例为组成该污水处理厂处理工艺的各个节点信息;设备字典为对处理厂中各种设备的定义,表头包含的必要字段包括标识ID、设备名字和设备所属的工艺节点,实例为处理厂中的各种设备;采集点字典为对数据采集点的定义,表头包含的必要字段包括标识ID、采集点描述、采集点在报表展示的字段、生成报表时的计算公式、采集数据的类型、数据的单位、数据正常范围的最大最小值、设备所属设备信息和虚拟点数据,虚拟点数据以virtual_前缀定义;113)将数据字典CSV文件与处理厂字典信息相关联,建立处理厂名称与相应处理厂数据字典的对应;12)调取数据,数据接入模块从多个污水处理厂获取污水处理厂现场数据,存入数据缓冲池中;13)数据转化,数据缓冲池定期把数据接入模块的数据写成包含数据字典的自解释数据文件;其以下步骤:131)数据缓冲池采用FIFO机制接收Json格式的上报数据,读取出的数据从缓冲池中删除并传给存储模块,被处理成自解释数据文件,自解释数据文件的文件名以读取时的时间戳命名;132)通过数据缓冲池定期生成自解释数据文件,自解释数据文件包括字典部分和数据部分,将处理厂字典信息添加至字典部分前面,在工艺流程ID、设备ID、采集点ID中将处理厂ID加在前面做为前缀;数据部分的表头为采集点ID、采集时间、采集数值,在采集点ID前面添加处理厂ID做为前缀,采集数值为缓冲池中处理周期内保存的所有采集数据;14)数据文件存储,存储模块定期解析自解释数据文件,将数据字典和采集数据存储到NoSQL数据库中。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于合肥城市云数据中心股份有限公司,未经合肥城市云数据中心股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201410175754.0/,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置