[发明专利]一种筛查题库中重复试题的方法及装置

摘要

本发明公开了一种筛查题库中重复试题的方法及装置，该方法包括：按照预设规则从题库中提取试题得到待查重试题；针对所述待查重试题从所述题库中筛选出与所述待查重试题相似度较高的试题集合，得到相似试题集合；分别提取所述待查重试题的数据特征和所述相似试题集合中试题的数据特征，按顺序将所述相似试题集合中试题的数据特征分别与所述待查重试题的数据特征输入预设决策树模型中使用对应的相似度算法计算相似度，得到与所述待查重试题重复的试题。本发明解决了现有筛查题库中重复试题的方法优化效果差，准确度不高的技术问题，保证题库的质量，降低题库维护成本，大大提高了产品的用户体验。

主权项

1.一种筛查题库中重复试题的方法，其特征在于，包括：按照预设规则从题库中提取试题得到待查重试题，所述题库为数学题库；针对所述待查重试题从所述题库中筛选出与所述待查重试题相似度较高的试题集合，得到相似试题集合；分别提取所述待查重试题的数据特征和所述相似试题集合中试题的数据特征，按顺序将所述相似试题集合中试题的数据特征分别与所述待查重试题的数据特征输入预设决策树模型中使用对应的相似度算法计算相似度，得到与所述待查重试题重复的试题，所述数据特征包括数字、字母、汉字和汉字的长度；所述针对所述待查重试题从所述题库中筛选出与所述待查重试题相似度较高的试题集合，得到相似试题集合，具体为：采用布尔模型和余弦定理分别计算出所述题库中其他试题与所述待查重试题的第一相似度值，如果所述第一相似度值大于预设第一相似度值，则该试题与所述待查重试题相似度较高，得到相似试题集合；所述分别提取所述待查重试题的数据特征和所述相似试题集合中每个试题的数据特征，按顺序将所述相似试题集合中试题的数据特征分别与所述待查重试题的数据特征输入预设决策树模型中使用对应的相似度算法计算相似度，得到与所述待查重试题重复的试题，包括：如果所述待查重试题的数据特征和所述相似试题集合中试题的数据特征不包含数字和字母，使用Jaro Distance算法判断所述相似试题集合中试题是否与所述待查重试题重复，得到与所述待查重试题重复的试题；如果所述待查重试题的数据特征和所述相似试题集合中试题的数据特征不包含数字，包含字母，使用Dice系数判断所述相似试题集合中试题是否与所述待查重试题重复，得到与所述待查重试题重复的试题；如果所述待查重试题的数据特征和所述相似试题集合中试题的数据特征包含数字和汉字，且汉字的长度小于预设长度，提取所述待查重试题的数据特征和所述相似试题集合中试题的数据特征中的数字，使用最大公共子序列计算二者的第二相似度值，并且采用布尔模型和余弦定理计算二者的第三相似度值，根据所述第二相似度值和所述第三相似度值，得到与所述待查重试题重复的试题；如果所述待查重试题的数据特征和所述相似试题集合中试题的数据特征包含数字、汉字和大写字母，同时汉字的长度大于或等于所述预设长度，且大写字母小于预设个数，提取所述待查重试题的数据特征和所述相似试题集合中试题的数据特征中的数字，使用最大公共子序列计算二者的第四相似度值，并且采用Dice系数计算第五相似度值，根据所述第四相似度值和所述第五相似度值，得到与所述待查重试题重复的试题；如果所述待查重试题的数据特征和所述相似试题集合中试题的数据特征包含数字、汉字和大写字母，同时汉字的长度大于或等于所述预设长度，且大写字母大于或等于预设个数，提取所述待查重试题的数据特征和所述相似试题集合中试题的数据特征中的数字，使用最大公共子序列计算二者的第六相似度值，根据所述第六相似度值，得到与所述待查重试题重复的试题；其中，根据所述第二相似度值和所述第三相似度值，得到与所述待查重试题重复的试题，包括：如果所述第二相似度值大于预设第二相似度值，且所述第三相似度值大于预设第三相似度值，则得到与所述待查重试题重复的试题；根据所述第四相似度值和所述第五相似度值，得到与所述待查重试题重复的试题，包括：如果所述第四相似度值大于预设第四相似度值，且所述第五相似度值大于预设第五相似度值，则得到与所述待查重试题重复的试题；根据所述第六相似度值，得到与所述待查重试题重复的试题，包括：如果所述第六相似度值大于预设第六相似度值，则得到与所述待查重试题重复的试题。