[发明专利]一种数据处理方法、电子设备及计算机存储介质在审
申请号: | 201811323448.1 | 申请日: | 2018-11-07 |
公开(公告)号: | CN109522746A | 公开(公告)日: | 2019-03-26 |
发明(设计)人: | 肖涌川 | 申请(专利权)人: | 平安医疗健康管理股份有限公司 |
主分类号: | G06F21/62 | 分类号: | G06F21/62;G06F16/215 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 郝传鑫;熊永强 |
地址: | 200000 上海市黄浦*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 标准化规则 原始数据 计算机存储介质 电子设备 格式规则 目标数据 数据标签 排查 标准化数据 数据标准化 标准数据 数据存储 脱敏处理 准确度 携带 申请 | ||
1.一种数据处理方法,其特征在于,所述方法包括:
获取原始数据和所述原始数据携带的数据标签;
对所述原始数据进行脱敏处理,获得目标数据;
获取所述数据标签对应的标准化规则,所述标准化规则包括完整性排查规则和格式规则;
依据所述标准化规则处理所述目标数据,获得满足所述完整性排查规则和所述格式规则的标准数据。
2.根据权利要求1所述的方法,其特征在于,响应于所述标准化规则包括所述完整性排查规则的情况,所述依据所述标准化规则处理所述目标数据包括:
检测所述目标数据中的项目是否有空缺,若有空缺,生成包含所述空缺项目的报告,输出所述报告以提示对所述空缺项目进行补全。
3.根据权利要求2所述的方法,其特征在于,所述标准化规则还包括重复排查规则,所述依据所述标准化规则处理所述目标数据还包括:
检测所述目标数据中的项目的相似度,若所述相似度高于第一阈值,判断所述项目为重复项目,合并所述重复项目的数据或者删除所述重复项目之一的数据。
4.根据权利要求2或3所述的方法,其特征在于,响应于所述标准化规则包括所述格式规则的情况,所述依据所述标准化规则处理所述目标数据还包括:
检测所述目标数据中的项目字段是否与模板字段匹配,若不匹配,按照所述格式规则将所述不匹配的项目字段转换为与所述模板字段匹配的目标字段。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
若检测到所述与模板字段不匹配的项目字段存在错误数据,生成错误记录;
确定所述项目字段的项目类别,在修正数据库中查找所述项目类别对应的、与所述项目字段匹配的修正数据,输出包含所述修正数据的提示信息。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述获得满足所述完整性排查规则和所述格式规则的标准数据之后,所述方法还包括:
获取所述数据标签对应的预存数据模板,将所述标准数据与所述预存数据模板进行数据比对,获得数据评分;
判断所述数据评分是否高于第一分数阈值,若高于,将所述标准数据分组存储。
7.根据权利要求1-6任一项所述的方法,其特征在于,所述获得满足所述完整性排查规则和所述格式规则的标准数据之后,所述方法还包括:
生成数据检测报告,所述数据检测报告包括所述原始数据的数据检测时刻、数据重复率、数据合格率和/或依据所述标准化规则处理所述目标数据的内容,其中,所述数据重复率为,所述目标数据中的重复数据的比例,所述数据合格率为,所述目标数据中所述标准数据的比例。
8.一种电子设备,其特征在于,包括:获取模块、脱敏模块和数据处理模块,其中:
所述获取模块,用于获取原始数据和所述原始数据携带的数据标签;
所述脱敏模块,用于对所述原始数据进行脱敏处理,获得目标数据;
所述获取模块还用于,获取所述数据标签对应的标准化规则,所述标准化规则包括完整性排查规则和格式规则;
所述数据处理模块,用于依据所述标准化规则处理所述目标数据,获得满足所述完整性排查规则和所述格式规则的标准数据。
9.一种电子设备,其特征在于,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1-7任一项所述的方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安医疗健康管理股份有限公司,未经平安医疗健康管理股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811323448.1/1.html,转载请声明来源钻瓜专利网。