[发明专利]一种数据清洗方法

摘要

本发明公开了一种数据清洗方法，通过数据导入，将待处理数据经过解析后生成具体的数据存入数据清洗方法；数据预处理，将解析后的数据按照所选处理规则进行数据的提取后生成待清洗的数据；数据清洗，将待清洗数据进行聚类；数据缓存，根据用户的操作命令将数据结果缓存起来；所述命令包括待定、确认、移除；确认数据对缓存的数据结果进行再次清洗直到确认数据后生成最终所需的数据关系文件并导出文件。解决了数据清洗只清洗重复数据而不清洗相似数据的问题，具有提高数据清洗的广度和深度以及不仅清洗重复数据，也同样清洗相似数据的技术效果。

主权项

一种数据清洗方法，其特征在于，包括：数据导入，将待处理数据经过解析后生成具体的数据存入数据清洗方法；数据预处理，将解析后的数据按照所选处理规则进行数据的提取后生成待清洗的数据；数据清洗，将待清洗数据根据计算相似度公式：cosθ=θ1→×θ2→|θ1→|×|θ2→|=Σi=1n(θ1i×θ2i)Σi=1nθ1i2×Σi=1nθ2i2]]>映射为多维空间中的向量和并且用这两个向量间的夹角大小来表示向量的相近程度，以此来计算两条文本数据的相似程度；以及：根据上一步得出的向量，运用文本相似度计算公式：cosθ=(1×0+2×0+2×2+2×1+1×0+0×1)12+22+22+22+12+02×02+02+22+12+02+12=614×16=65.4653667%]]>得出这两个向量的夹角的COSINE值；以及：将高于用户设定的某一相似度阈值的相关数据进行聚类；数据缓存，根据用户的操作命令将数据结果缓存起来；所述命令包括待定、确认、移除；确认数据，对缓存的数据结果进行再次清洗直到确认数据后生成最终所需的数据关系文件并导出文件。