[发明专利]一种基于改进simhash算法的问答数据清洗系统及方法

说明书

本发明公开了一种基于改进simhash算法的问答数据清洗系统及方法，包括问句处理单元和数据清洗单元，所述问句处理单元包括问句分词模块：用于将数据库内的所有问句分别进行分词，得到一系列问句的分词结果及其相应的词性权重，权重计算模块：用于对问句的分词结果进行权重计算，本系统针对对话式问答系统数据集所发明的，针对问句中重复出现的分词先采用权重累加的方式，再通过一系列的加权合并降维的处理，能够对于清除一些重复的问题以及符合对话式问答系统需求的答案，同时对于原先算法不适用于短文本的情况下进行改进，提高了系统数据集相似语句的计算准确率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于改进simhash算法的问答数据清洗系统及方法。

背景技术

开源问答数据集是对话式问答系统构建的基石，其一般是通过对开源问答数据集的收集，以及开源网站问答数据的爬取，实现了上百万级的问答数据对的收集，能够满足一般日常的对话。

虽然也有研究人员通过自发式生成答案做研究，但此种问答系统针对某个限定的领域，也能够获得不错的效果，不过对于开放式的日常对话问答系统，采用问答数据集作为答案来源，是目前较为普遍的做法。就目前收集的问答数据情况来看，问答的质量参差不齐，有些是重复的问题，而有些答案则过长，不适合作为问答系统的回答，为了提高问答数据集的质量，对问答数据进行清洗有便提高问答数据集的质量。

开源问答数据集的对话式问答系统是通过对开源问答数据集的收集，以及开源网站问答数据的爬取，实现了上百万级的问答数据对的收集，开源问答数据集的对话式问答系统数据集的收集方式容易形成数据质量参差不齐的问题，有些是重复的问题，而有些答案则过长，不适合作为问答系统的回答。

发明内容

本发明的目的在于提供一种基于改进simhash算法的问答数据清洗系统及方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种基于改进simhash算法的问答数据清洗系统，包括问句处理单元和数据清洗单元，所述问句处理单元包括问句分词模块：用于将数据库内的所有问句分别进行分词，得到一系列问句的分词结果及其相应的词性权重，权重计算模块：用于对问句的分词结果进行权重计算；hash处理模块：用于将分词Wn生成64位的hash值基础上进行加权；距离判断模块：对于得到问句的simhash值后，任意计算两个问句simhash的海明距离，所述问句处理单元连接数据清洗单元。

一种基于改进simhash算法的问答数据清洗方法，包含以下步骤：

A、将数据库内的所有问句分别进行分词，由此得到一系列问句的分词结果及其相应的词性权重；

B、对于多次出现的某分词，进行权重累加，并生成一系列的(分词，权重)对；

C、将分词Wn生成64位的hash值，并在其基础上进行加权及其加权结果累加；

D、对加权结果进行处理，从而得到该语句的simhash值；

E、通过任意计算两个问句simhash的海明距离，判断两个问句的相似度。

与现有技术相比，本发明的有益效果是：本系统针对对话式问答系统数据集所发明的，针对问句中重复出现的分词先采用权重累加的方式，再通过一系列的加权合并降维的处理，能够对于清除一些重复的问题以及符合对话式问答系统需求的答案，同时对于原先算法不适用于短文本的情况下进行改进，提高了系统数据集相似语句的计算准确率。

附图说明

图1是一种基于改进simhash算法的问答数据清洗系统结构框图

图2是一种基于改进simhash算法的问答数据清洗方法流程图。

具体实施方式