[发明专利]一种海量电网数据管理存储系统

说明书

本发明公开了一种海量电网数据管理存储系统，属于数据管理技术领域，包括数据传输模块、数据处理模块和后台存储模块；所述数据传输模块与所述数据处理模块之间设有数据暂存模块，所述数据暂存模块还连接有空闲检测模块，所述空闲检测模块与所述数据处理模块之间信号连接，所述数据暂存模块用于将所述数据传输模块发送的数据进行暂存，所述空闲检测模块用于检测所述数据暂存模块是否处于空闲状态，并将检测的信号反馈给所述数据处理模块；所述数据处理模块用于处理接收到的数据，并将数据发送给所述后台存储模块进行存储。通过数据暂存模块缓存各个传感器发送的数据，在空闲的时候将数据发送给后台，提高整个系统的工作效率。

技术领域

本发明涉及数据管理技术领域，特别涉及一种海量电网数据管理存储系统。

背景技术

数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程，大数据具有海量、动态、不确定和多源异构等特点,这些特点使得数据的存储、传输与及时响应和处理面临巨大的挑战。信息融合作为有效整合和管理数据的重要工具之一,已经成为大数据资源治理的重要理论方法。信息融合是一种形式框架,其过程是用数学方法和技术工具综合不同源信息,目的是得到高品质的有用信息。与单一信源独立处理相比,信息融合的优势包括：提高可探测性和可信度,扩大时空感知范围；降低推理模糊程度，改进探测精度等性能；增加目标特征维数，提高空间分辨率；增强系统容错能力和自适应性，从而提高全系统性能。

电网在运行的时候会产生大量的数据，这些数据在节点中备份然后发送给后台存储模块进行保存，节点在接收和发送数据时需要占用网络带宽，而传统的数据存储系统节点的接收和发送同时进行，会增加处理模块的负荷，并且同时进行数据发送和接收也会占用带宽导致整个流程效率变低，并且传统的数据存储系统直接将数据发送到存储模块中保存起来，会有一些无用数据占用存储空间，也不方便后续的数据查询。

发明内容

本发明的目的就在于为了解决上述数据存储系统在大量数据接收和发送的时候效率低下，而且同时接收和发送容易造成处理模块压力变大，易出现故障并且数据保存的时候一些无用数据会占用存储空间的问题提出一种海量电网数据管理存储系统，具有增加空闲检测可降低传输压力，减少故障率，剔除无用数据，减少存储空间的浪费的优点。

本发明通过以下技术方案来实现上述目的，一种海量电网数据管理存储系统，包括数据传输模块、数据处理模块和后台存储模块；

所述数据传输模块与所述数据处理模块之间设有数据暂存模块，所述数据暂存模块还连接有空闲检测模块，所述空闲检测模块与所述数据处理模块之间信号连接，所述数据暂存模块用于将所述数据传输模块发送的数据进行暂存，所述空闲检测模块用于检测所述数据暂存模块是否处于空闲状态，并将检测的信号反馈给所述数据处理模块；

所述数据处理模块用于处理接收到的数据，并将数据发送给所述后台存储模块进行存储。

优选的，所述数据传输模块包括结构化数据接入模块和半结构化数据接入模块，结构化数据接入模块用于接入电网中的结构化数据，半结构化数据接入模块用于接入电网中的半结构化数据。

优选的，所述结构化数据接入模块接入的数据包括采集传感器采集到的实时数据和离线数据。

优选的，所述实时数据的传输步骤包括：

实时采集数据的节点利用散列函数计算数据的存储位置；

将感知数据按照数据映射的传输方式发送给对应的暂存节点进行存储。

优选的，所述离线数据的传输步骤包括：

采集数据的节点利用无线网络上传给基站进行云备份；

暂存节点获取基站下载权限，并利用网络将采集的数据下载。