[发明专利]海量GIS数据实时处理方法及系统

说明书

技术领域

本发明涉及电网数据处理领域，尤其涉及一种海量GIS数据实时处理方法及系统。

背景技术

电网GIS平台是将电力企业的电力设备、变电站、输配电网络、电力用户与电力负荷和生产及管理等核心业务连接形成电力信息化的生产管理的综合信息系统，其需要管理维护电网设备的空间属性、设备属性、拓扑关系以及海量的地图数据，支撑整个电网公司的业务需求。随着公司业务信息化水平的不断提高，系统需要管理的数据量及数据复杂程度持续上升。

目前GIS平台共计维护121类电网设备，并且根据预计电网资源数据将以每年超过25%的速度急剧增长。GIS平台实时渲染的设备数量，在每屏平均渲染2000个左右设备，加上平台客户端的平均在线数3000左右。这就使GIS平台数据访问量特别大、访问频次很密集。

随着GIS平台中的数据量大幅上涨，在大规模配用电网（特别是涵盖400V低压电网）的场景下，客户端展示的电网数据量持续上升，不可避免的引发服务器查询操作的频繁进行和缓存数据的爆炸式增长。传统的数据管理和处理方式是使用GIS渲染数据管理及处理方式，此方式服务端需要频繁的与持久化数据库进行电网数据交互，由此带来了持久化数据库并发访问瓶颈以及巨大的网络压力，直到超出数据库支持能力而拖慢整个系统的运行效率；另一方面，高并发、高频次的客户端访问要求服务端生成大量数据缓存以应对频繁的数据请求，但传统的根据访问需求实时生成的缓存数据由于分开管理、缺乏统一的调配合并，势必带来缓存空间的浪费和内存数据的反复擦写，不能充分利用内存数据的高读写速度优势。

随着设备空间数据持续增长，设备的拓扑数据也随之急剧增加，设备之间的拓扑关系也越来越复杂，拓扑计算需要处理的节点数量及权重权衡也随之增加，拓扑计算的性能也在不断下降。如果拓扑计算是直接处理的数据库拓扑数据，更会因为与数据库的交互延迟或数据库性能的下降而使拓扑计算的效率变得更加不可忍受。

在大数据量压力下，进行设备渲染、拓扑计算因为基础数据量的增大而效率下降，如果再考虑用户海量并发的因素，提升效率就会比较困难。

因此如何维持在海量数据和高并发用户数量压力下GIS平台的实时响应速度，成为GIS平台提升用户友好性、增加平台功能可用性急待解决的难题。

发明内容

本发明所要解决的技术问题在于，提供一种海量GIS数据实时处理方法及系统，可以对海量GIS数据实时处理，响应速度快，计算效率高。

为了解决上述技术问题，本发明提供了一种海量GIS数据实时处理方法，包括：

将若干通用内存存储设备组合，并在GIS平台启动后，分批次将持久化数据库中用户需要用到的海量数据加载到所述通用内存存储设备组合中，直至将所述持久化数据库中的全部数据镜像到所述通用内存存储设备组合中；其中，在分批次加载的过程中同时对所述通用内存存储设备组合中的空间数据构建空间索引，对拓扑数据重新建立拓扑图，并为所述拓扑图建立拓扑索引，从而完成内存集群的搭建；

当用户编辑拓扑图时，根据所述拓扑索引在所述内存集群中记录用户实时编辑状态，并对用户最终提交的拓扑图，根据所述拓扑索引对内存集群中的拓扑数据进行更新；

当用户需要渲染展示设备信息时，根据用户所选择的设备，采用所述空间索引从所述内存集群快速提取出对应的设备样式数据和设备属性数据，并根据所述设备样式数据和设备属性数据计算出设备渲染样式，GIS平台的渲染单元根据所述设备渲染样式渲染所述用户所选择的设备。

本发明还提供了一种海量GIS数据实时处理系统，包括：

内存集群建立模块，用于将若干通用内存存储设备组合，并在GIS平台启动后，分批次将持久化数据库中用户需要用到的海量数据加载到所述通用内存存储设备组合中，直至将所述持久化数据库中的全部数据镜像到所述通用内存存储设备组合中；其中，在分批次加载的过程中同时对所述通用内存存储设备组合中的空间数据构建空间索引，对拓扑数据重新建立拓扑图，并为所述拓扑图建立拓扑索引，从而完成内存集群的搭建；

拓扑数据处理模块，用于当用户编辑拓扑图时，根据所述拓扑索引在所述内存集群中记录用户实时编辑状态，并对用户最终提交的拓扑图，根据所述拓扑索引对内存集群中的拓扑数据进行更新；

渲染预处理模块，用于当用户需要渲染展示设备信息时，根据用户所选择的设备，采用所述空间索引从所述内存集群快速提取出对应的设备样式数据和设备属性数据，并根据所述设备样式数据和设备属性数据计算出设备渲染样式；

设备渲染模块，用于根据所述设备渲染样式渲染所述用户所选择的设备。