[发明专利]一种配电台区用电数据规范化清洗方法、装置、系统及存储介质

说明书

本发明提供一种配电台区用电数据规范化清洗方法、装置、系统及存储介质，该方法包括：建立数据交互模型：选定一类低压配电设备，在变量命名表中选出该类低压配电设备能够采集的全部变量，即构成该类设备的设备模型表，将设备模型表初始化为数据库表，即实现设备模型到数据库的映射，将低压配电设备抽象成物模型；根据数据特点和业务需求，针对不同的物模型以及物模型中不同的属性特点，定制数据清洗方案中的清洗规则；基于配置的规则集合，实现对设备用电数据的数据清洗。本发明采用物模型将用电数据结构化建模处理，建立设备的数据交互模型，并提出了一套规则化的数据清洗方案，可很好地改进数据质量，提高后续挖掘过程的准确率和效率。

技术领域

本发明涉及电子信息技术领域，具体是一种配电台区用电数据规范化清洗方法、装置、系统及存储介质。

背景技术

配电网是供电末端，供电面积大，网络结构复杂，运维难度大，容易影响用户用电体验。因此，很有必要通过技术手段，进一步提高运维水平和供电服务质量。当前随着物联网技术的成熟，许多物联网设备开始在台区推广应用。台区智能融合终端已经开始批量部署，在台区侧已经具备了边缘计算和区域自治能力。物联网开关、多功能LTU等设备已经在现场应用，使得配电台区已经具备了一定的数据采集和处理能力。

虽然台区设备已经具备数据采集能力，但是如何使用数据，特别是将数据与日常运维紧急结合，还没有开展深入研究。因此，从配电台区数字化、智能化、透明化建设目标出发，结合配电网建设、运维、检修各环节实际需求，开展基于台区智能融合终端深化应用为目标的配电台区用电数据规范化清洗研究很有必要的。

业界一些实现数据清洗的方法主要包括填写缺失值，光滑噪声数据，识别或删除离群点等方法，这些方法各有利弊，适用于不同的场合。但面对复杂多变、结构多样化的用电数据，传统的数据清洗方法无法快速准确完成数据清洗工作。

发明内容

本发明的目的在于提供一种配电台区用电数据规范化清洗方法、装置、系统及存储介质，针对配电台区用电设备收集的数据特点，采用物模型将用电数据结构化建模处理，建立设备的数据交互模型，并提出了一套规则化的数据清洗方案，可很好地改进数据质量，提高后续挖掘过程的准确率和效率。

一种配电台区用电数据规范化清洗方法，包括如下步骤：

步骤一、建立数据交互模型：选定一类低压配电设备，在变量命名表中选出该类低压配电设备能够采集的全部变量，即构成该类设备的设备模型表，将设备模型表初始化为数据库表，即实现设备模型到数据库的映射，将低压配电设备抽象成物模型；

步骤二、根据数据特点和业务需求，针对不同的物模型以及物模型中不同的属性特点，定制数据清洗方案中的清洗规则；

步骤三、基于步骤二配置的规则集合，实现对设备用电数据的数据清洗。

进一步的，所述物模型的结构包括设备GUID及属性列表，设备GUID是全局唯一标识符，用于区分每一台设备；属性列表是该物模型具有的所有属性，每个属性包含四个标签，分别是属性名称、属性类型、属性数据和时间戳，分别用于表示该属性是什么、属性数据类型、属性数值详情以及该数据的记录时间。

进一步的，所述数据交互模型的工作方式是台区的数据中心负责存储物模型和具体数值，每一个设备通过接口获取数据中心中对应的物模型，设备将自身数据写入物模型相应的位置，最终返回给数据中心并进行持久化存储。

进一步的，所述数据中心与台区的数据交互遵循以下原则：

(1)在通信接口中属性数值全部采用string类型；

(2)数据按设备分类管理；

(3)数据按实时数据、冻结数据、事件、参数分类管理，每一类数据具有独立的、标准的调用接口；

(4)接口中的拓展数据或私有数据采用自定义格式，并用base64编码；