[发明专利]针对主配一体化系统的海量实时数据分布式处理方法及系统

说明书

本发明公开了一种针对主配一体化系统的海量实时数据分布式处理方法，将所有服务器上的主网模型都划分成多个分区，所有服务器上的配网模型也划分成多个分区；每个分区使用独立的消息通道，对各个消息通道发送遥测和遥信数据；服务器上的每个分区对应于一个进程，一个进程内部包含多个线程，采用多进程并行处理、多线程并行处理的方式对相应消息通道接收的遥测和遥信数据进行处理。此外，本发明还公开了一种基于主配一体化系统的海量实时数据分布式处理系统。本发明极大地提高了主配一体化系统的实时数据处理效率。

技术领域

本发明涉及电力系统领域，特别是涉及针对主配一体化系统的海量实时数据分布式处理方法及系统。

背景技术

目前国内电网调度自动化系统实时数据处理方法均采用单机集中式的处理方法，但随着电网规模不断扩大，特别是配电自动化的快速发展，配网实时数据吞吐量不断增长，集中式处理方法已经无法满足实时数据处理的性能要求，系统实时性无法得到保证。

发明内容

发明目的：本发明的目的是提供一种针对主配一体化系统的海量实时数据分布式处理方法及系统，能够满足实时数据处理的性能要求。

技术方案：本发明所述的针对主配一体化系统的海量实时数据分布式处理方法，将所有服务器上的主网模型都划分成多个分区，所有服务器上的配网模型也划分成多个分区；每个分区使用独立的消息通道，对各个消息通道发送遥测和遥信数据；服务器上的每个分区对应于一个进程，一个进程内部包含多个线程，采用多进程并行处理、多线程并行处理的方式对相应消息通道接收的遥测和遥信数据进行处理。

进一步，监视各服务器的资源使用情况，将资源利用率高于阈值的服务器上的分区的数据转移到资源利用率低于阈值的服务器上的分区进行处理。这样有利于实现负载均衡。

进一步，分区内部，根据上一个时间窗口内计算得到的实时数据吞吐率还调整线程的数量：如果吞吐率高于阈值，则增加线程；否则，则减少线程。这样能够实现变频处理，能够充分利用系统资源。

进一步，对于需要跨分区处理的数据，由位于中心的分区完成跨分区协同处理任务。

进一步，对于线路对端不在本分区的线端量测，将量测数据通过消息总线发送至位于中心的分区进行统一判断：如果此量测不是替代量测，则位于中心的分区通过消息总线将处理后的数据发回原分区；如果此量测是替代量测，则位于中心的分区通过消息总线将替代结果发送至被替代量测所在分区进行处理。这样保证了分区数据安全可靠。

进一步，所述主网模型以厂站为最小单位进行分区，配网模型以馈线为最小单位进行分区。这样方便维护主网和配网模型信息。

进一步，各个分区将处理完的遥信数据写入本地实时库。这样可提高遥信数据的处理效率。

进一步，对于线路对端在本分区的线端量测，在本地直接完成处理，并将处理结果写入本地实时库。这样可提高线端量测的处理效率。

本发明所述的针对主配一体化系统的海量实时数据分布式处理系统，包括：

模型分区模块：将所有服务器上的主网模型都划分成多个分区，所有服务器上的配网模型也划分成多个分区；每个分区使用独立的消息通道；

数据采集模块：对各个消息通道发送遥测和遥信数据；

服务器：服务器上的每个分区对应于一个进程，一个进程内部包含多个线程，采用多进程并行处理、多线程并行处理的方式对相应消息通道接收的遥测和遥信数据进行处理。

进一步，还包括：

分布式管理模块：监视各服务器的资源使用情况，将资源利用率高于阈值的服务器上的分区的数据转移到资源利用率低于阈值的服务器上的分区进行处理。这样有利于实现负载均衡。