[发明专利]一种数据质量评估方法、装置、存储介质及电子装置有效
申请号: | 202210261092.3 | 申请日: | 2022-03-17 |
公开(公告)号: | CN114358662B | 公开(公告)日: | 2022-09-13 |
发明(设计)人: | 彭垚;杨德城;林亦宁 | 申请(专利权)人: | 北京闪马智建科技有限公司 |
主分类号: | G06Q10/06 | 分类号: | G06Q10/06;G06K9/62 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100095 北京市海淀区温泉*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 质量 评估 方法 装置 存储 介质 电子 | ||
1.一种数据质量评估方法,其特征在于,包括:
获取目标数据的初始特征信息以及初始属性信息,其中,所述初始特征信息包括所述目标数据的分辨度信息,所述分辨度信息包括所述目标数据的边缘特征锐化特征,所述初始属性信息包括所述目标数据的置信度信息,所述置信度信息包括所述目标数据经过处理后的极端分布特征,并用于指示目标数据经过处理后的置信度,从而能够判断目标数据的处理质量,所述置信度信息还包括对目标数据进行属性分类处理之后的属性分类置信度;
对所述分辨度信息和所述置信度信息进行融合处理,以得到所述目标数据的质量判定信息;基于所述质量判定信息确定所述目标数据的数据质量;
其中,所述基于所述质量判定信息确定所述目标数据的数据质量包括:
基于所述质量判定信息确定所述目标数据的相对熵信息,其中,相对熵信息包括所述质量判定信息与均匀概率分布信息之间的相对熵,所述均匀概率分布信息用于指示所述目标数据的质量判定信息的随机分布;
基于所述相对熵信息以及预设的映射公式,确定所述目标数据的映射距离,其中,所述映射公式为:
式中,所述s为所述映射距离,所述DKL(P||Q)为所述相对熵信息;
基于所述映射距离,确定所述目标数据的数据质量。
2.根据权利要求1所述的方法,其特征在于,所述基于所述质量判定信息确定所述目标数据的相对熵信息包括:
获取目标数据的均匀概率分布信息;
基于所述均匀概率分布信息和所述质量判定信息,确定所述目标数据的相对熵信息;
基于所述相对熵信息,确定所述目标数据的数据质量。
3.根据权利要求1所述的方法,其特征在于,所述对所述分辨度信息和所述置信度信息进行融合处理,以得到所述目标数据的质量信息包括:
通过融合公式,对所述分辨度信息和所述置信度信息进行融合处理,以得到所述目标数据的质量判定信息,其中,所述融合公式包括:
式中,所述P用于指示所述质量判定信息,所述Ps用于指示所述置信度信息,所述Ss用于指示所述分辨度信息。
4.根据权利要求1所述的方法,其特征在于,所述获取目标数据的初始属性数据包括:
获取所述目标数据的业务场景信息;
基于所述业务场景信息,对初始属性模型进行训练,以得到目标属性模型;
通过所述目标属性模型对所述目标数据进行属性分类处理,以获取所述初始属性数据。
5.根据权利要求1所述的方法,其特征在于,所述获取目标数据的初始特征数据包括:
对初始特征模型进行初始化处理,以得到目标特征模型;
通过所述目标特征模型对所述目标数据进行特征中和处理,以获取所述初始特征数据。
6.一种数据质量评估装置,其特征在于,包括:
数据采集模块,用于获取目标数据的初始特征信息以及初始属性信息,其中,所述初始特征信息包括所述目标数据的分辨度信息,所述分辨度信息包括所述目标数据的边缘特征锐化特征,所述初始属性信息包括所述目标数据的置信度信息,所述置信度信息包括所述目标数据经过处理后的极端分布特征,并用于指示目标数据经过处理后的置信度,从而能够判断目标数据的处理质量,所述置信度信息还包括对目标数据进行属性分类处理之后的属性分类置信度;
信息融合模块,用于对所述分辨度信息和所述置信度信息进行融合处理,以得到所述目标数据的质量判定信息;
质量评估模块,用于基于所述质量判定信息确定所述目标数据的数据质量;
数据质量评估模块包括:
信息确定单元,基于所述质量判定信息确定所述目标数据的相对熵信息,其中,相对熵信息包括所述质量判定信息与均匀概率分布信息之间的相对熵,所述均匀概率分布信息用于指示所述目标数据的质量判定信息的随机分布;
映射距离确定子单元,用于基于相对熵信息以及预设的映射公式,确定目标数据的映射距离,其中,映射公式为:
式中,S为映射距离,DKL(P||Q)为相对熵信息;
质量评估子单元,用于基于映射距离,确定目标数据的数据质量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京闪马智建科技有限公司,未经北京闪马智建科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210261092.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:单叶片圆形出风口
- 下一篇:道路信息的获取方法、装置和存储介质及电子设备
- 同类专利
- 专利分类
G06Q 专门适用于行政、商业、金融、管理、监督或预测目的的数据处理系统或方法;其他类目不包含的专门适用于行政、商业、金融、管理、监督或预测目的的处理系统或方法
G06Q10-00 行政;管理
G06Q10-02 .预定,例如用于门票、服务或事件的
G06Q10-04 .预测或优化,例如线性规划、“旅行商问题”或“下料问题”
G06Q10-06 .资源、工作流、人员或项目管理,例如组织、规划、调度或分配时间、人员或机器资源;企业规划;组织模型
G06Q10-08 .物流,例如仓储、装货、配送或运输;存货或库存管理,例如订货、采购或平衡订单
G06Q10-10 .办公自动化,例如电子邮件或群件的计算机辅助管理
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置