[发明专利]数据管理方法和装置

说明书

本公开提供一种数据管理方法和装置。数据管理装置采集能源互联网数据，将能源互联网数据进行解析处理，以得到具有预定格式的信息，将信息按照预定维度进行统计，以得到相应的能源数据和信息数据，将信息数据写入信息数据存储单元中，将能源数据写入相对应的能源数据存储主单元中，以便能源数据存储主单元将接收到的能源数据写入相关联的能源数据存储从单元中。本公开通过利用分布式存储技术，有效解决能源信息系统并发少、数据存储受限、数据查询效率低下、不能满足能源互联网精细化数据存储需求的问题。

技术领域

本公开涉及信息存储领域，特别涉及一种数据管理方法和装置。

背景技术

在能源系统中，数据采集、数据解析、数据统计存储是基本功能。数据采集单元负责采集设备UIPQ能源数据、环境数据、状态数据等，以字节流格式传输至数据解析单元。数据解析单元负责接收数据采集单元的字节流数据，对数据进行解析处理，再以预定格式将相应字符发送给数据统计存储单元。数据统计存储单元负责按设备、层级维度及日、月、年时间维度统计数据，再存储至数据库。

发明内容

发明人经过研究发现，相关技术中的数据存储系统架构简单，适用单一工程监控。在工程监控数量、采集的数据量剧增的情况下，数据存储性能会显著降低。

为此，本公开提供一种提升能源互联网数据存储性能的方案。

根据本公开实施例的第一方面，提供一种数据管理方法，包括：采集能源互联网数据；将所述能源互联网数据进行解析处理，以得到具有预定格式的信息；将所述信息按照预定维度进行统计，以得到相应的能源数据和信息数据；将所述信息数据写入信息数据存储单元中；将所述能源数据写入相对应的能源数据存储主单元中，以便所述能源数据存储主单元将接收到的所述能源数据写入相关联的能源数据存储从单元中。

在一些实施例中，将所述能源数据写入相对应的能源数据存储主单元中包括：检测各能源数据存储主单元的当前存储状态；将所述能源数据写入当前存储空间最大的能源数据存储主单元中。

在一些实施例中，在接收到读取指定能源数据的指令后，查询所述指定能源数据的属性；在所述指定能源数据为实时数据的情况下，从具有所述指定能源数据的能源数据存储主单元中读取所述指定能源数据。

在一些实施例中，在所述指定能源数据为历史数据的情况下，从具有所述指定能源数据的能源数据存储从单元中读取所述指定能源数据。

在一些实施例中，在接收到读取指定信息数据的指令后，从所述信息数据存储单元中读取所述指定信息数据。

在一些实施例中，检测各能源数据存储主单元的工作状态；若存在出现故障的能源数据存储主单元，则将与所述出现故障的能源数据存储主单元相关联的能源数据存储从单元切换为能源数据存储主单元。

在一些实施例中，在所述出现故障的能源数据存储主单元故障恢复后，将故障恢复的能源数据存储主单元切换为能源数据存储从单元。

根据本公开实施例的第二方面，提供一种数据管理装置，包括：数据采集模块，被配置为采集能源互联网数据；数据解析模块，被配置为将所述能源互联网数据进行解析处理，以得到具有预定格式的信息；数据统计模块，被配置为将所述信息按照预定维度进行统计，以得到相应的能源数据和信息数据；数据存储模块，被配置为将所述信息数据写入信息数据存储单元中，将所述能源数据写入相对应的能源数据存储主单元中，以便所述能源数据存储主单元将接收到的所述能源数据写入相关联的能源数据存储从单元中。

在一些实施例中，所述数据存储模块包括：数据管理模块，被配置为检测各能源数据存储主单元的当前存储状态，将所述能源数据写入当前存储空间最大的能源数据存储主单元中。