[发明专利]一种配电台区用电数据规范化清洗方法、装置、系统及存储介质

权利要求书

1.一种配电台区用电数据规范化清洗方法，其特征在于：包括如下步骤：

步骤一、建立数据交互模型：选定一类低压配电设备，在变量命名表中选出该类低压配电设备能够采集的全部变量，即构成该类低压配电设备的设备模型表，将设备模型表初始化为数据库表，即实现设备模型到数据库的映射，将低压配电设备抽象成物模型，每一类物模型有各自的属性列表；

步骤二、根据数据特点和业务需求，针对不同的物模型以及物模型中不同的属性特点，定制数据清洗方案中的清洗规则，在运行过程中，获取某一低压配电设备的物模型和属性列表，将选定的规则集合配置到数据清洗算法中，进行基于结构化数据的规则清洗；

步骤三、基于步骤二配置的规则集合，实现对设备用电数据的数据清洗。

2.如权利要求1所述的配电台区用电数据规范化清洗方法，其特征在于： 所述物模型的结构包括设备GUID及属性列表，设备GUID是全局唯一标识符，用于区分每一台设备；属性列表是该物模型具有的所有属性，每个属性包含四个标签，分别是属性名称、属性类型、属性数据和时间戳，分别用于表示该属性是什么、属性数据类型、属性数值详情以及该数据的记录时间。

3.如权利要求1所述的配电台区用电数据规范化清洗方法，其特征在于：所述数据交互模型的工作方式是台区的数据中心负责存储物模型和具体数值，每一个设备通过接口获取数据中心中对应的物模型，设备将自身数据写入物模型相应的位置，最终返回给数据中心并进行持久化存储。

4.如权利要求3所述的配电台区用电数据规范化清洗方法，其特征在于：所述数据中心与台区的数据交互遵循以下原则：

（1）在通信接口中属性数值全部采用string类型；

（2）数据按设备分类管理；

（3）数据按实时数据、冻结数据、事件、参数分类管理，每一类数据具有独立的、标准的调用接口；

（4）接口中的拓展数据或私有数据采用自定义格式，并用base64编码；

（5）数据中心接口采用MQTT+JSON方式；

（6）台区按设备进行管理，对于注册管理的用电设备分配GUID，每个设备以唯一的GUID编号进行区分，GUID编号是由现有算法生成的二进制长度为128位的数字标识符。

5.如权利要求1所述的配电台区用电数据规范化清洗方法，其特征在于：步骤三具体包括如下步骤：

预处理阶段：负责数据收集与导入数据库；

阶段1，缺失数据清洗：先判断缺失比例，分析字段属性的重要性，根据设备获取的专有物模型，对接收到的数据进行结构化分析，看是否存在缺失属性，或属性值是否为空；将属性用重要性和缺失率两个特征来综合评估：对于不重要的属性，如果缺失率较低，不做处理或简单默认填充；如果缺失率较高，考虑去除该字段；对于重要的属性，如果缺失率较低，根据历史数据特征采用均值、极值或中值法进行填充，或根据业务经验估算补充；如果缺失率较高，通过渠道读取并补充完成，或根据其他属性计算求得；

阶段2，格式内容清洗：在电网设备监测中，包含时间日期格式是否统一，设备属性的属性值的类型、数据范围、单位是否合理，格式内容清洗通过具体的规则集批量地对数据样本进行筛选实现；

阶段3，逻辑错误清洗：逻辑错误包含去重、不合理数据去除、以及矛盾内容清除，数据去重是针对设备可能多次发送同一时间的数据造成数据冗余，不合理数据针对一些设备属性不合理取值造成，矛盾内容针对设备关联关系中，出现上层设备包含下层设备，而下层设备也包含上层设备的矛盾现象；

阶段4，非需求数据清洗：电网设备监测传输的状态信息包含各种业务不需要字段属性，包括设备生成时间、设备名称、类型型号，对这些字段属性进行删除；

阶段5，关联性验证：通过模型唯一编号来关联分析两个数据源是否是同一个设备以免数据冗余。