[发明专利]一种数据处理方法、装置及计算机可读存储介质

说明书

一种数据处理方法、装置及计算机可读存储介质，能够实现对待修正数据的全面修正与清洗，并减少数据修正过程中相关人员的手动操作。方法具体包括：获取待修正数据；在标准数据库中确定与所述待修正数据对应的N个标准数据，其中N为大于或等于2的整数；利用所述待修正数据和所述N个标准数据中每个标准数据计算出一个概率，共得到N个概率，所述概率用于表征所述待修正数据与所述每个标准数据之间的字数、符号、内容以及格式完全相同的概率；根据所述N个概率中最大概率所对应的标准数据对所述待修正数据进行修正。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置及计算机可读存储介质。

背景技术

随着信息科学的飞速发展，相关技术人员可以对多样数据进行挖掘，从而发现数据中所包含的价值。但是由于数据来源多样，数据的质量也参差不齐，由此给数据价值的挖掘带来了许多不便。因此，如何将不同质量、不同格式的数据统一成符合预设要求的数据是需要解决的问题。

发明内容

本发明实施例提供了一种数据处理方法、装置及计算机可读存储介质，能够实现对待修正数据的全面修正与清洗，并减少数据清洗过程中相关人员的手动操作。

第一方面，本发明实施例提供一种数据处理方法，包括：

获取待修正数据；

在标准数据库中确定与所述待修正数据对应的N个标准数据；N为大于或等于2的整数；

利用所述待修正数据和所述N个标准数据中每个标准数据计算出一个概率，共得到N个概率，所述概率用于表征所述待修正数据与所述每个标准数据之间的字数、符号、内容以及格式完全相同的概率；

根据所述N个概率中最大概率所对应的标准数据对所述待修正数据进行修正。

可选的，所述标准数据库中包括M个标准数据，所述M为大于等于2的整数，所述在标准数据库中确定与所述待修正数据对应的N个标准数据，包括：

遍历所述M个标准数据，利用所述待修正数据和所述M个标准数据中每个标准数据计算出一个相似系数，共得到M个相似系数；所述相似系数用于表征所述每个标准数据与所述待修正数据中相同部分的占比；

确定所述M个相似系数中相似系数大于预设值的N个相似系数，所述N个相似系数对应的N个标准数据即为与所述待修正数据对应的N个标准数据，其中N为不大于M的正整数。

可选的，所述根据所述N个概率中最大概率所对应的标准数据对所述待修正数据进行修正，包括：

将所述待修正数据更改为与所述最大概率所对应的标准数据。

可选的，获取待修正数据之前，所述方法还包括：

检测到输入操作，所述输入操作用于输入数据；

判断输入的数据是否规范；

如果规范，将输入数据作为待修正数据；

如果不规范，输出提示信息，提示用户所述数据不满足所述预设格式。

可选的，判断输入的数据是否规范，包括：判断输入的数据的字数、符号、格式是否符合规范。

可选的，所述方法还包括：记录日志，所述日志中所述待修正数据与所述最大概率对应的标准数据以一对一形式进行存储。

第二方面，本发明实施例提供一种数据处理装置，包括：

获取单元，用于获取待修正数据；

确定单元，用于在标准数据库中确定与所述待修正数据对应的N个标准数据；N为大于或等于2的整数；