[发明专利]加气站SCADA系统海量数据处理方法

摘要

本发明公开了一种加气站SCADA系统海量数据处理方法，通过以太网将站级数据采集主机、站级数据存储服务器、站级数据通信客户端主机、中心数据通信服务器、中心数据管理服务器、以及中心分布式数据存储集群互连，能提高对加气站海量监测数据的存储运行效率，满足海量数据的存储要求，同时对数据的查询方便，能多线程并行查询，可极大提高查询效率，且能方便的满足加气站数量的横向扩展。

主权项

1.一种加气站SCADA系统海量数据处理方法，其特征在于：包括数据存储方法和数据查询方法；所述数据存储方法包括以下步骤：S1.通过以太网将站级数据采集主机、站级数据存储服务器、站级数据通信客户端主机、中心数据通信服务器、中心数据管理服务器、以及中心分布式数据存储集群互连，所述中心分布式数据存储集群包括多个主存储服务器和多个从存储服务器；S2.将站级数据采集主机通过串口或以太网接口与PLC连接，通过PLC采集加气站设备的实时工况数据和报警信号，然后将数据存储在站级数据库服务器中；S3.将站级数据通信客户端主机与中心数据通信服务器通过以太网相连，站级数据通信客户端主机从站级数据库中取出工况数据并通过TCP/IP协议将数据远传给中心数据通信服务器，中心数据通信服务器收到数据后，先将数据暂存在内存中，然后每隔一段时间把内存中的数据通过相应的压缩算法进行压缩打包，并对每个压缩包中的数据进行预先的统计计算；S4.中心数据通信服务器的负载均衡集群中的每台服务器上都运行相同的通信服务端进程与数据管理进程，当负载均衡集群收到站级数据通信客户端的连接请求后将它们均衡的分配给集群中的各服务器进行处理；若集群中有服务器出现故障，集群的负载均衡策略则排除掉故障服务器，并对剩下的正常工作的服务器重新分配工作负担；S5.中心数据通信服务器将数据压缩包与统计计算结果交付给中心数据管理服务器，中心数据管理服务器按照路由策略将数据包分配到中心分布式数据存储集群的不同节点中；S6.中心分布式数据存储集群的物理结构上由多个存储节点组成，每个存储节点包括一台主存储服务器和多台从存储服务器；主存储服务器与从存储服务器之间配置三个策略：读写分离、数据实时同步、以及故障转移；主存储服务器配置为可写可读，从存储服务器配置为只读，且主存储服务器的读优先级低于从存储服务器的读优先级，数据写入主存储服务器后实时同步到从存储服务器；S7.中心分布式数据存储集群的逻辑结构上由1个主管理数据库与多个子数据库组成，主管理数据库存储数据路由策略，所述数据路由策略即加气站编号到数据存储节点IP的映射表，子数据库存储每个加气站中的所有设备产生的实时数据、历史数据、以及报警数据，一个子数据库只存储一个加气站的数据；一个存储节点安装一个数据库实例，主管理数据库与多个子数据库部署于同一个数据库实例中，即部署于同一个存储节点中，或者是每一个数据库分别部署于一个数据库实例中；S8.每个子数据库中用于存放设备工况历史数据和报警历史数据的数据表分区处理，将数据表按年份分区，每一年的数据存放在对应的分区中；S9.中心数据通信服务器将数据来源的加气站编号以及数据压缩包提交给中心数据管理服务器，中心数据管理服务器通过查询主管理数据库中的路由策略来确定数据存储节点，然后将数据存储于其中；所述数据查询方法包括以下步骤：S10.将要查询的加气站编号提交给中心数据管理服务器，中心数据管理服务器通过查询主管理数据库中的路由策略来确定数据存储节点，然后将数据从目标存储节点中取出、解压并返回给客户端。