[发明专利]基于语义本体的噪声数据清洗方法

摘要

基于语义本体的噪声数据清洗方法，包括建立一个存储不含噪声的干净数据的干净数据库；获取待清洗的文本数据，对待清洗数据进行预处理以获取结构化数据，所述的结构化数据组成文本数据的词的集合；引入知识网络的语义概念，获取每两个词的语义相似度；利用两个词的语义相似度作为距离度量，使用K-means算法，对词进行自动聚类，识别出噪声数据；在噪声数据中寻找引起噪声的语义本体，对引起噪声的语义本体进行矫正、以获取干净数据，将干净数据存入干净数据库中。本发明具有能够发现数据间语义的关联、能分辨同义词，保证在数据清洗中获得好性能的优点。

主权项

基于语义本体的噪声数据清洗方法，包括以下步骤：1）、建立一个存储不含噪声的干净数据的干净数据库；获取待清洗的文本数据，对待清洗数据进行预处理以获取结构化数据，所述的结构化数据组成文本数据的词的集合：（1.1）将待清洗数据进行分词，并将所有词转换为统一的编码形式；（1.2）将具有统一编码形式的数据根据数据字典消除不一致的数据、获得标准化数据；（1.3）对该标准化数据进行一致性校验，将内容上的明显错误进行修改；（1.4）将完全相同的词进行去重操作，从而获得结构化数据；2）、引入知识网络的语义概念，获取每两个词的语义相似度；（2.1）分别获取每个词所表达的概念、和描述每个概念的义原；（2.2）获取任意两个独立的词，分别计算两个词的每个概念下的义原之间的相似度，两个义原的相似度用他们的语义距离来衡量；寻找两个概念之间的最大义原相似度和最小义原相似度，两个概念之间的相似度为最大义原相似度和最小义原相似度的均值；寻找两个词之间的最大概念相似度，将最大概念相似度作为两个词的语义相似度；3）、利用两个词的语义相似度作为距离度量，使用K‑means算法，对词进行自动聚类，识别出噪声数据；4）、在噪声数据中寻找引起噪声的语义本体，对引起噪声的语义本体进行矫正、以获取干净数据，将干净数据存入干净数据库中。