[发明专利]一种海量智能用电数据混合存储系统及方法

说明书

技术领域

本发明涉及一种海量智能用电数据混合存储系统及方法。

背景技术

用电信息采集系统作为智能用电的重要组成部分，能够实现对用电数据的采集，并基于采集的用电数据进行管理、分析、决策，是提高用户用电效率和优化用电方式，落实我国节能减排和阶梯电价政策的重要抓手，是智能用电建设的重要内容。国家电网公司深入推进“两个转变”，积极构建“三集五大”体系，在“十二五”期间提出用电信息采集“全覆盖、全采集、全控制”的建设目标，实现对所有电力用户和关口的全面覆盖，实现计量装置在线监测和用户负荷、电量、电压等重要信息的实时采集，及时、完整、准确地为相关系统提供基础数据，为企业经营管理各环节的分析、决策提供支撑。

随着“全覆盖、全采集、全控制”建设目标的实现，用电信息采集系统覆盖的电力现场范围进一步扩大，供电企业用电信息采集覆盖的范围从仅覆盖重要的专线专变用户，逐渐扩大到包括各类专线专变用户、一般工商业户、公变台区等多种电力现场，接入各类采集终端及表计的规模也随之增加，采集数据量线性增长，采集数据呈现海量趋势。通过对采集数据进行分析，这些数据大多数是源码数据，以往用电信息采集系统对采集数据的存储都是将采集上来的源码数据经过解析后直接存储到生产库中。

然而，一方面，用电信息采集系统具有采集任务执行时段集中、高并发的特征，导致部分时间段的数据入库压力较大，数据库出现I/O瓶颈，使得系统的相关数据统计分析业务得不到及时开展，严重影响了相关数据的查询效率；

另一方面，源码数据是用电信息采集系统的基础数据，对通讯流量统计、通讯日志记录、电量计算、故障分析等有着至关重要的作用，而以往用电信息采集系统受策略限制无法对源码数据进行长期保存，阻碍了对数据的深度应用。

发明内容

本发明的目的就是为了解决上述问题，提供一种海量智能用电数据混合存储系统及方法，它具有应对海量采集数据给前置主站存储能力带来的挑战，现将采集数据存储在本地缓存，然后存储到MongoDB私有云存储平台集中管理，满足对海量数据的快速存储和统一管理需求，降低对生产数据库的入库压力的优点。

为了实现上述目的，本发明采用如下技术方案：

一种海量智能用电数据混合存储系统，包括前置通信服务器集群、MongoDB私有云存储平台、采集数据转存计算平台，所述前置通信服务器集群接收终端上传的原始数据帧，将数据解析后得到的原始数据文件存储到本地磁盘，之后所述前置通信服务器集群将原始数据帧和原始数据文件采用数据交叉复制备份的方式转存到所述MongoDB私有云存储平台，之后所述采集数据转存计算平台读取所述MongoDB私有云存储平台的数据进行处理后存储到所述采集数据转存计算平台的关系数据模块的生产库和分析库中，生产库对业务数据进行存储并实现终端调试、终端参数设置和采集数据实时性查询操作，分析库对生产库的业务数据进行进一步分析处理，实现采集成功率、终端在线率和线损合格率的统计分析，并将分析结果写回生产库，供查询使用。

所述前置通信服务器集群包括通信接口模块、数据缓存模块和配置库；

所述通信接口模块包括通信管理接口、状态监控接口、任务管理接口、规约解析接口和数据加载接口；

所述通信管理接口实现前置通信服务器集群与终端间物理连接的建立；

所述状态监控接口实现终端及服务器状态的监控；

所述任务管理接口实现采集任务的统一管理：任务下发和终端事件上送；

所述规约解析接口将采集到的原始数据帧解析成原始数据对象；

所述元数据加载接口将解析后的数据原始对象加载到数据缓存模块中。

所述数据缓存模块将原始数据对象以文件的形式存储在本地磁盘中；

所述配置库负责终端及服务器的监控信息、终端档案信息、配置信息和采集任务信息的组织和管理。

所述MongoDB私有云存储平台包括数据存储模块、路由模块和配置模块；

所述数据存储模块存储前置服务器集群传输过来的原始数据帧及原始数据文件；

所述路由模块用于管理配置模块具体数据的存放信息；

所述配置模块用于保存数据到所在数据块及所在数据块到所在数据分片的映射，并存储所有需要采集数据测量点的采集状态和采集成功率。

所述采集数据转存计算平台包括数据处理模块和关系数据存储模块。

所述关系数据存储模块包括生产库和分析库；

所述生产库存储业务数据；

所述分析库用于分担生产库的压力，用于指标数据查询、统计分析和报表导出。