[发明专利]一种构造综合能源数据资产的方法和系统

权利要求书

1.一种构造综合能源数据资产的方法，基于分布式架构搭建数据中台实现，其特征在于，所述方法包括数据统一采集、数据统一存储、元数据管理、数据服务管理；

所述数据统一采集包括按业务领域划分主题域，每种业务具有唯一的主题域编码；通信连接业务主体，获取数据，通信连接方包括TCP/IP、有线RS485、无线Lora、宽带载波、NB-IoT、M-BUS、无线公网；

所述数据统一存储包括构建数据仓库，所述数据仓库分为四层，分别为贴源层、明细数据层、汇总数据层、应用数据层，对采集到的各类业务数据统一存储；

所述元数据管理包括血统分析、血缘分析、数据质量分析；

所述数据服务管理包括对外提供数据访问接口，上层业务应用通过数据访问接口访问数据仓库中的数据。

2.根据权利要求1所述的方法，其特征在于，所述主题域包括配电主题域，计量仪表主题域，能效主题域，营销主题域，光伏主题域，风电主题域，储能主题域，充电桩主题域，冷热泵空调主题域，电力交易主题域，公共主题域；新增业务种类时，增加相应的主题域。

3.根据权利要求1或2所述的方法，其特征在于，所述数据统一采集还包括：

使用kafka消息总线，现场采集终端配置主站地址和端口，数据消息上送到kafka总线中：

使用nginx，将消息分发给采集服务节点，每一个采集服务节点加载全部的终端通信参数并且消费本节点的消息。

4.根据权利要求1所述的方法，其特征在于，所述数据统一存储具体包括：

搭建MySQL+MongoDB数据库集群；

根据主题域定义对应的数据库和表结构，数据库结构分为贴源层、明细数据层、汇总数据层、应用数据层，数据表分为档案参数类和数据类；

贴源层对各类业务数据进行采集、汇聚；

通过工具kettle，按照数据映射关系，编写数据抽取脚本，定期或周期对贴源层的数据进行抽取、清洗、转换，并保存到明细数据层；

通过Map-Reduce对明细数据层的数据进行统计分析，实现数据轻量汇总，保存到汇总数据层；

应用数据层面向对象建模，对跨业务板块、跨数据域的特定对象数据进行整合，通过ID-Mapping把各个业务板块、各个业务过程中的同一对象的数据打通，形成对象的全域标签体系；根据业务需求加工业务特定数据，向特定应用组装应用数据。

5.根据权利要求1所述的方法，其特征在于，所述元数据管理包括具体：

通过元数据适配器实现用户数据层元数据自动采集；

对数据表的血统和血缘进行分析：通过查找当前表的上游表，关注分析对象的生成过程，以目标表的第一代祖先为起点，以目标分析对象为终点，按照转化关系逐层扩展，生成血缘关系图，通过血缘关系图直观展示目标表的产生过程，以及会受到的潜在影响；

数据质量分析：根据仪表、传感器采集的数据及元数据定义，通过统计业务属性填充率，评估元数据的完整度；

为数据资产分析应用提供应用支撑。

6.根据权利要求1或5所述的方法，其特征在于，所述血缘分析包括影响分析、冷热度分析、关联度分析、生成数据资产地图；所述影响分析包括标注数据去向、数据经过的加工；所述冷热度分析包括分析数据的活跃度，经常被访问的数据标注为活跃数据，没有访问的数据标注为僵死数据；所述生成数据资产地图包括提供数据分类、数据检索、数据简要说明、提供获取数据的链接。

7.根据权利要求1所述的方法，其特征在于，所述数据服务管理包括：

提供血缘关系提取服务接口：将影响血缘关系的SQL操作进行上报，所述SQL操作包括CREATE TABLE、INSERT、UPDATE、CREATE VIEW、存储过程；

提供数据质量采集接口：采集各类质量统计指标；

提供应用服务接口：按照主题域管理API接口，定义接口名称、接口地址、访问参数定义、返回值定义、接口说明、接口实例、版本号，统计接口最后调用时间、接口访问次数、每分钟访问频次，平均响应时长，具有安全认证、熔断限流机制。