[发明专利]一种数据清洗方法、装置及计算机可读存储介质

说明书

本文公开了一种数据清洗的实现方法、装置及计算机可读存储介质，包括：服务器利用预先建立的数据清洗算法清洗目标数据，得到第一数据清洗结果；根据第一数据清洗结果和第二数据清洗结果训练数据清洗算法，得到更新的数据清洗算法以用于下次数据清洗。其中，第二数据清洗结果是以人工方式清洗目标数据得到的数据清洗结果。从本发明实施例可见，由于根据第一数据清洗结果(服务器利用数据清洗算法清洗目标数据得到的数据清洗结果)和第二数据清洗结果(以人工方式清洗目标数据得到的数据清洗结果)训练了数据清洗算法，得到了用于下次数据清洗的更新的数据清洗算法，因此实现了数据清洗算法的改进，从而提高了数据清洗效率，降低了数据清洗错误率。

技术领域

本发明实施例涉及计算机技术领域，尤指一种数据清洗方法、装置及计算机可读存储介质。

背景技术

数据清洗是“洗掉”“脏”数据的过程，实际是指发现并纠正数据文件中可识别的错误的过程，包括检查数据一致性，处理无效值和缺失值等过程。通过数据清洗能够实现对大数据进行降噪，即将不完整的数据、错误的数据和重复的数据进行排除，从而得到一致性较高的数据。

相关技术中，首先需要训练数据清洗算法，以使得在后续多次的数据清洗过程中利用该数据清洗算法清洗数据。

然而，由于训练出的数据清洗算法一直用于后续的数据清洗过程，缺乏对数据清洗算法的改进，因此数据清洗效率不高，数据清洗错误率较高。

发明内容

为了解决上述技术问题，本发明实施例提供了一种数据清洗方法，能够对数据清洗算法进行改进，从而提高数据清洗效率，降低数据清洗错误率。

为了达到本发明实施例的目的，本发明实施例提供了一种数据清洗方法，包括：

服务器利用预先建立的数据清洗算法清洗目标数据，得到第一数据清洗结果；

根据所述第一数据清洗结果和第二数据清洗结果训练所述数据清洗算法，得到更新的数据清洗算法以用于下次数据清洗；其中，所述第二数据清洗结果是以人工方式清洗所述目标数据得到的数据清洗结果。

本发明实施例还提供了一种服务器，包括：

预处理模块，用于利用预先建立的数据清洗算法清洗目标数据，得到第一数据清洗结果；

处理模块，用于根据所述第一数据清洗结果和第二数据清洗结果训练所述数据清洗算法，得到更新的数据清洗算法以用于下次数据清洗；其中，所述第二数据清洗结果是以人工方式清洗所述目标数据得到的数据清洗结果。

本发明实施例还提供了一种数据清洗装置，包括：处理器和存储器，其中，存储器中存储有以下可被处理器执行的指令：

利用预先建立的数据清洗算法清洗目标数据，得到第一数据清洗结果；

根据所述第一数据清洗结果和第二数据清洗结果训练所述数据清洗算法，得到更新的数据清洗算法以用于下次数据清洗；其中，所述第二数据清洗结果是以人工方式清洗所述目标数据得到的数据清洗结果。

本发明实施例还提供了一种计算机可读存储介质，所述存储介质上存储有计算机可执行指令，所述计算机可执行指令用于执行以下步骤：

利用预先建立的数据清洗算法清洗目标数据，得到第一数据清洗结果；

根据所述第一数据清洗结果和第二数据清洗结果训练所述数据清洗算法，得到更新的数据清洗算法以用于下次数据清洗；其中，所述第二数据清洗结果是以人工方式清洗所述目标数据得到的数据清洗结果。