[发明专利]数据清洗方法、装置、设备及存储介质在审
| 申请号： | 201811375671.0 | 申请日： | 2018-11-19 |
| 公开（公告）号： | CN109542885A | 公开（公告）日： | 2019-03-29 |
| 发明（设计）人： | 火一莽;万月亮;李海卫;李潇宁 | 申请（专利权）人： | 北京锐安科技有限公司 |
| 主分类号： | G06F16/215 | 分类号： | G06F16/215 |
| 代理公司： | 北京品源专利代理有限公司 11332 | 代理人： | 孟金喆 |
| 地址： | 100044 北京市海淀区西小口*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 清洗 数据清洗 存储介质 预清洗 预处理 格式标准 目标数据 数据类别 | ||
1.一种数据清洗方法，其特征在于，包括：
获取待清洗数据，根据设定格式标准对所述待清洗数据进行预清洗；
获取预清洗后的数据所属的类别；
根据所述类别对应的清洗标准对所述数据进行清洗，获得目标数据。
2.根据权利要求1所述的方法，其特征在于，根据设定格式标准对所述待清洗数据进行预清洗，包括：
获取所述待清洗数据的索引文件和内容文件；
将所述待清洗数据中索引文件和内容文件不一致的数据清洗掉。
3.根据权利要求1所述的方法，其特征在于，根据所述类别对应的清洗标准对所述数据进行清洗，包括：
对所述数据进行如下至少一项操作：数据格式转换、数据类型转换、经纬度纠正和乱码清除。
4.根据权利要求1所述的方法，其特征在于，在根据所述类别对应的清洗标准对所述数据进一步的清洗，获得目标数据之后，还包括：
按照设定数据规则配置所述目标数据，将配置后的数据上报至目标业务方。
5.根据权利要求1所述的方法，其特征在于，在根据所述类别对应的清洗标准对所述数据进一步的清洗，获得目标数据之后，还包括：
统计所述待清洗数据的大小、所述目标数据的大小。
6.一种数据清洗装置，其特征在于，包括：
待清洗数据获取模块，用于获取待清洗数据，根据设定格式标准对所述待清洗数据进行预清洗；
类别获取模块，用于获取预清洗后的数据所属的类别；
目标数据获取模块，用于根据所述类别对应的清洗标准对所述数据进行清洗，获得目标数据。
7.根据权利要求6所述的装置，其特征在于，待清洗数据获取模块，还用于：
获取所述待清洗数据的索引文件和内容文件；
将所述待清洗数据中索引文件和内容文件不一致的数据清洗掉。
8.根据权利要求6所述的装置，其特征在于，目标数据获取模块，还用于：
对所述数据进行如下至少一项操作：数据格式转换、数据类型转换、经纬度纠正和乱码清除。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京锐安科技有限公司，未经北京锐安科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201811375671.0/1.html，转载请声明来源钻瓜专利网。
