[发明专利]一种筛查题库中重复试题的方法及装置

权利要求书

1.一种筛查题库中重复试题的方法，其特征在于，包括：

按照预设规则从题库中提取试题得到待查重试题，所述题库为数学题库；

针对所述待查重试题从所述题库中筛选出与所述待查重试题相似度较高的试题集合，得到相似试题集合；

分别提取所述待查重试题的数据特征和所述相似试题集合中试题的数据特征，按顺序将所述相似试题集合中试题的数据特征分别与所述待查重试题的数据特征输入预设决策树模型中使用对应的相似度算法计算相似度，得到与所述待查重试题重复的试题，所述数据特征包括数字、字母、汉字和汉字的长度；

所述针对所述待查重试题从所述题库中筛选出与所述待查重试题相似度较高的试题集合，得到相似试题集合，具体为：

采用布尔模型和余弦定理分别计算出所述题库中其他试题与所述待查重试题的第一相似度值，如果所述第一相似度值大于预设第一相似度值，则该试题与所述待查重试题相似度较高，得到相似试题集合；

所述分别提取所述待查重试题的数据特征和所述相似试题集合中每个试题的数据特征，按顺序将所述相似试题集合中试题的数据特征分别与所述待查重试题的数据特征输入预设决策树模型中使用对应的相似度算法计算相似度，得到与所述待查重试题重复的试题，包括：

如果所述待查重试题的数据特征和所述相似试题集合中试题的数据特征不包含数字和字母，使用Jaro Distance算法判断所述相似试题集合中试题是否与所述待查重试题重复，得到与所述待查重试题重复的试题；

如果所述待查重试题的数据特征和所述相似试题集合中试题的数据特征不包含数字，包含字母，使用Dice系数判断所述相似试题集合中试题是否与所述待查重试题重复，得到与所述待查重试题重复的试题；

如果所述待查重试题的数据特征和所述相似试题集合中试题的数据特征包含数字和汉字，且汉字的长度小于预设长度，提取所述待查重试题的数据特征和所述相似试题集合中试题的数据特征中的数字，使用最大公共子序列计算二者的第二相似度值，并且采用布尔模型和余弦定理计算二者的第三相似度值，根据所述第二相似度值和所述第三相似度值，得到与所述待查重试题重复的试题；

如果所述待查重试题的数据特征和所述相似试题集合中试题的数据特征包含数字、汉字和大写字母，同时汉字的长度大于或等于所述预设长度，且大写字母小于预设个数，提取所述待查重试题的数据特征和所述相似试题集合中试题的数据特征中的数字，使用最大公共子序列计算二者的第四相似度值，并且采用Dice系数计算第五相似度值，根据所述第四相似度值和所述第五相似度值，得到与所述待查重试题重复的试题；

如果所述待查重试题的数据特征和所述相似试题集合中试题的数据特征包含数字、汉字和大写字母，同时汉字的长度大于或等于所述预设长度，且大写字母大于或等于预设个数，提取所述待查重试题的数据特征和所述相似试题集合中试题的数据特征中的数字，使用最大公共子序列计算二者的第六相似度值，根据所述第六相似度值，得到与所述待查重试题重复的试题；

其中，根据所述第二相似度值和所述第三相似度值，得到与所述待查重试题重复的试题，包括：

如果所述第二相似度值大于预设第二相似度值，且所述第三相似度值大于预设第三相似度值，则得到与所述待查重试题重复的试题；

根据所述第四相似度值和所述第五相似度值，得到与所述待查重试题重复的试题，包括：

如果所述第四相似度值大于预设第四相似度值，且所述第五相似度值大于预设第五相似度值，则得到与所述待查重试题重复的试题；

根据所述第六相似度值，得到与所述待查重试题重复的试题，包括：

如果所述第六相似度值大于预设第六相似度值，则得到与所述待查重试题重复的试题。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从所述题库中删除所述与待查重试题重复的试题。

3.一种根据权利要求1所述的方法，其特征在于，所述预设第一相似度值等于0.7；所述预设第二相似度值、预设第三相似度值、预设第四相似度值和预设第六相似度值均等于0.9；所述预设第五相似度值等于1。