[发明专利]试题去重方法及装置

说明书

本申请公开了一种试题去重方法及装置。该方法包括获取第一试题；判断所述第一试题的字符长度与第二试题的字符长度的字符长度相似度是否超过第一预设比例；如果判断所述第一试题的字符长度与第二试题的字符长度的字符长度相似度超过第一预设比例，则判断所述第一试题的文本内容与所述第二试题的文本内容的文本相似度是否超过第二预设比例；如果判断所述第一试题的文本内容与所述第二试题的文本内容的文本相似度超过第二预设比例，则执行人工审核去重操作。本申请解决了无法快速有效的去除重复试题的技术问题。

技术领域

本申请涉及文本去重技术领域，具体而言，涉及一种试题去重方法及装置。

背景技术

随着信息技术的发展，电子出版物越来越多。有试题内容的出版社或者培训机构就会设立题库中心。对于大的题库中心，里面的试题量达到百万级别，如何找出重复的试题却不是一项容易的工作，因为(1)试题量太大，几乎不可能通过人工去比对；(2)由于文字表述方式的差异，很难通过简单的字符对比来筛选，这样的方法只能去除一小部分完成重复的试题。下面对如何有效快捷去除重复的试题，提出了一个解决办法。

针对相关技术中无法快速有效的去除重复试题的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种试题去重方法及装置，以解决无法快速有效的去除重复试题问题。

为了实现上述目的，根据本申请的一个方面，提供了一种试题去重方法。

根据本申请的试题去重方法包括：获取第一试题；判断所述第一试题的字符长度与第二试题的字符长度的字符长度相似度是否超过第一预设比例；如果判断所述第一试题的字符长度与第二试题的字符长度的字符长度相似度超过第一预设比例，则判断所述第一试题的文本内容与所述第二试题的文本内容的文本相似度是否超过第二预设比例；如果判断所述第一试题的文本内容与所述第二试题的文本内容的文本相似度超过第二预设比例，则执行人工审核去重操作。

进一步地，判断所述第一试题的文本内容与所述第二试题的文本内容的文本相似度是否超过第二预设比例包括：

统计所述第一试题的文本内容进行编辑操作后转化为所述第二试题的文本内容的编辑操作次数；根据所述编辑操作次数得到第一相似度和第二相似度；判断所述第一相似度是否大于所述第二相似度；如果所述第一相似度大于所述第二相似度，则判断所述第二相似度超过第二预设比例。

进一步的，根据所述编辑操作次数得到第一相似度和第二相似度包括：根据所述第一试题的文本内容和所述第二试题的文本内容得到初始化矩阵；根据所述初始化矩阵得到所述第一试题的文本内容和所述第二试题的文本内容的距离；根据所述距离、所述第一试题的文本内容和所述第二试题的文本内容得到所述第一相似度和所述第二相似度。

进一步的，判断所述第一试题的字符长度与第二试题的字符长度的字符长度相似度是否超过第一预设比例包括：根据所述第一试题的字符长度与所述第二试题的字符长度得到字符长度相似度；判断所述字符长度相似度是否大于所述第一预设比例；如果所述字符长度相似度大于所述第一预设比例，则进行文本相似度的计算。

进一步的，所述试题去重方法还包括：如果判断所述第一试题的文本内容与所述第二试题的文本内容的文本相似度超过第二预设比例，则将所述第一试题和所述第二试题保存为组；对所述组执行人工审核去重操作。

为了实现上述目的，根据本申请的另一方面，提供了一种试题去重装置。