[发明专利]数据清洗方法、装置、设备及存储介质

说明书

本发明实施例公开了一种数据清洗方法、装置、设备及存储介质。该方法包括：获取待清洗数据，根据设定格式标准对所述待清洗数据进行预清洗；获取预清洗后的数据所属的类别；根据所述类别对应的清洗标准对所述数据进行清洗，获得目标数据。本发明实施例提供的数据清洗方法，首先对待清洗数据进行预处理，然后按照数据类别对应的清洗标准对数据进行清洗，可以提高数据清洗的效率及适用性，从而提高数据的安全性。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种数据清洗方法、装置、设备及存储介质。

背景技术

随着信息技术发展和企业信息化建设的进行，企业自身积累了大量的业务数据，这些数据对于企业非常珍贵，是企业了解自身经营状况及进行正确决策的基础。由于用户录入错误、系统集成及企业环境变化等因素，都会影响到数据质量。

在数据库研究和应用领域，数据清洗是构建数据库的第一步。在数据挖掘中，海量的原始数据存在着大量不完整、不一致以及有异常的数据，严重影响数据挖掘建模的执行效率，甚至可能导致挖掘结果的偏差，所以进行数据清洗就显得尤为重要。现有技术中，数据清洗的方式有如下几种：1)人工清洗，效率低下；2)通过专门编写的应用程序，这种方法能解决某个特定的问题，但是不够灵活；3)针对特定应用领域数据的清洗，适用性差。

发明内容

本发明实施例提供一种数据清洗方法、装置、设备及存储介质，提高数据清洗的效率及适用性。

第一方面，本发明实施例提供了一种数据清洗方法，该方法包括：

获取待清洗数据，根据设定格式标准对所述待清洗数据进行预清洗；

获取预清洗后的数据所属的类别；

根据所述类别对应的清洗标准对所述数据进行清洗，获得目标数据。

进一步地，根据设定格式标准对所述待清洗数据进行预清洗，包括：

获取所述待清洗数据的索引文件和内容文件；

将所述待清洗数据中索引文件和内容文件不一致的数据清洗掉。

进一步地，根据所述类别对应的清洗标准对所述数据进行清洗，包括：

对所述数据进行如下至少一项操作：数据格式转换、数据类型转换、经纬度纠正和乱码清除。

进一步地，在根据所述类别对应的清洗标准对所述数据进一步的清洗，获得目标数据之后，还包括：

按照设定数据规则配置所述目标数据，将配置后的数据上报至目标业务方。

进一步地，在根据所述类别对应的清洗标准对所述数据进一步的清洗，获得目标数据之后，还包括：

统计所述待清洗数据的大小、所述目标数据的大小。

第二方面，本发明实施例还提供了一种数据清洗装置，该装置包括：

待清洗数据获取模块，用于获取待清洗数据，根据设定格式标准对所述待清洗数据进行预清洗；

类别获取模块，用于获取预清洗后的数据所属的类别；

目标数据获取模块，用于根据所述类别对应的清洗标准对所述数据进行清洗，获得目标数据。

进一步地，待清洗数据获取模块，还用于：

获取所述待清洗数据的索引文件和内容文件；

将所述待清洗数据中索引文件和内容文件不一致的数据清洗掉。

进一步地，目标数据获取模块，还用于：

对所述数据进行如下至少一项操作：数据格式转换、数据类型转换、经纬度纠正和乱码清除。