[发明专利]一种基于分布式的管网产销差计算调整方法

说明书

本发明公开了一种基于分布式的管网产销差计算调整方法，步骤为：1、CSC启动并向CMP注册；2、CMP启动供水量、售水量CSC并行计算；3、等待直至供水量和售水量计算完毕；4、启动产销差CSC；5、判断是否有未计算数据，如果否则结束，如果是则继续；6、判断队列中是否有数据，如果没有数据则关闭CSC，直至所有CSC执行完毕；7、创建启动NODE并获取未计算的数据，然后计算产销差；8、判断是否有未计算数据，如果有则返回重新获取数据；如果否则结束NODE；9、判断得到的产销差是否大于20％，如果是则该区域管网系统漏损严重需要排查，如果否则该区域管网系统安全。本发明以容器为计算节点，容器之间计算互相隔离、环境稳定，容错率高，而且支持流程编排。

技术领域

本发明属于供水行业技术领域，特别涉及一种基于分布式的管网产销差计算调整方法。

背景技术

在供水行业中，产销差的大小变化直接影响供水企业的经济效益，而计算产销差离不开各种仪器仪表上传的时间序列数据。以单位用户为例，需要记录正累计水量、反累计水量、总累计水量、瞬时流量、压力等数据，每5分钟上传一条，以一座中等城市10000个单位用户为例，一天就是5*288*10000＝14400000条数据，而计算产销差还需要流量仪和居民等数据这又是一个庞大的数据集。除此之外我们还需要对这些数据进行预处理之后才能使用，这就需要我们有一定的流程编排，顺序性也亟待解决。

传统的分布式计算，例如Hadoop MapReduce使用了大批量的任务集群，正式由于批量执行，时效性比较低，而且我们不能对计算的内容进行编排，没有与容器技术更好的融合，不能解决行业问题。

单节点计算可以控制计算步骤，编排计算流程，但是面对供水行业如此庞大的数据集的时候往往力不从心，不仅仅失去了时效性，更不得不占用白天时间进行计算，严重影响正常生产运行。而传统的分布式计算，以机器为节点，虽然计算速度很快，但是机器配置不一，无法充分利用资源，并且数据流程不可控，开发人员不得不花大量精力去关注流程问题，考虑先后顺序，误码率高、程序耦合性强。

发明内容

发明目的：为了克服现有技术中存在的计算产销差速度慢、周期长、时效性差、容错率低等不足，本发明提供一种集群是以容器为计算节点，容器之间计算互相隔离、环境稳定，容错率高，而且支持流程编排的基于分布式的管网产销差计算调整方法。

技术方案：为实现上述目的，本发明提供一种基于分布式的管网产销差计算调整方法，包括如下步骤：

(1)供水量、售水量、产销差CSC启动并向CMP注册，提交产销差计算的先决条件；

(2)CMP启动不需要先决条件的供水量、售水量CSC并行计算；

(3)判断供水量和售水量是否计算完毕，如果计算完毕则进入步骤(4)，如果没有计算完毕则继续等待直至计算完毕并进入步骤(4)；

(4)启动产销差CSC；将所需要计算的DMA、站点，按DMA、站点个数进行分组，并把DMA、站点分组数据放入待计算的队列；

(5)判断是否有未计算数据，如果否则进入步骤(9)，如果是则等待并进入步骤(6)；

(6)判断队列中是否有数据，如果有数据则进入步骤(7)，如果没有数据则进入步骤(9)；

(7)创建启动NODE并获取未计算的数据，然后计算产销差；

(8)判断是否有未计算数据，如果有则返回步骤(7)重新获取数据；如果否则结束NODE；

(9)关闭CSC，直至所有CSC执行完毕；

(10)判断步骤(7)中，计算得到的产销差是否大于20％，如果是则该区域管网系统漏损严重需要排查，如果否则该区域管网系统安全。