[发明专利]一种试题的聚类方法、去重方法及系统

说明书

本发明公开了一种试题的聚类方法、去重方法及系统。试题的聚类方法，包括：在所有参与聚类的试题中选取聚类中心试题；确定聚类中心试题的重要关键字符记为第一字符串，确定待聚类试题的重要关键字符记为第二字符串，重要关键字符为新增、替换或者修改后会改变试题含义或者类型的字符；计算第一字符串和第二字符串之间的加权编辑距离，加权编辑距离为第一字符串和第二字符串之间相互转化的最少的加权操作次数；根据加权编辑距离计算待聚类试题与聚类中心试题之间的相似度；将相似度大于预设阈值的待聚类试题与聚类中心试题归为同一试题类。本发明能够实现高效地对大规模试题进行聚类。

技术领域

本发明涉及教育技术领域，更具体地，涉及一种试题的聚类方法、去重方法及系统。

背景技术

教育领域中不同的试题供应商，比如考试中心、教辅出版机构、培训机构、和各个学校的出题老师都会提供大量的试题。随着数字信息化在教育领域的应用，这些试题供应商也会采用在线平台、或者终端软件的方式向用户提供试题，而这些大量的试题中不免有很多同类型的试题或者是相似度极高的试题。

因此，提供一种试题的聚类方法、去重方法及系统，实现高效地对大规模试题进行聚类，是本领域亟待解决的技术问题。

发明内容

有鉴于此，本发明提供了一种试题的聚类方法、去重方法及系统，解决了上述技术问题。

第一方面，本发明提供一种试题的聚类方法，包括：

在所有参与聚类的试题中选取聚类中心试题；

确定所述聚类中心试题的重要关键字符记为第一字符串，确定待聚类试题的重要关键字符记为第二字符串，所述重要关键字符为新增、替换或者修改后会改变试题含义或者类型的字符；

计算所述第一字符串和所述第二字符串之间的加权编辑距离，所述加权编辑距离为所述第一字符串和所述第二字符串之间相互转化的最少的加权操作次数；

根据所述加权编辑距离计算所述待聚类试题与所述聚类中心试题之间的相似度，其中，相似度r的计算公式为：

r＝(sum-dist)/sum，其中，sum为所述第一字符串和所述第二字符串的长度总和，dist为所述加权编辑距离；

将相似度大于预设阈值的所述待聚类试题与所述聚类中心试题归为同一试题类。

可选的，在所有参与聚类的试题中选取聚类中心试题的步骤之前，还包括：

统一试题格式，其中，包括：

对包含不同字符格式或者公式图片的htm试题文件进行分类识别和内容解析，转换成latex试题文本；

将latex试题文本转换成可正常阅读的文本格式。

可选的，在所有参与聚类的试题中选取聚类中心试题的步骤具体包括：

根据试题的创建时间和试题的质量评价，对所有参与聚类的试题进行排序；

选择排序为第一位的试题作为所述聚类中心试题。

可选的，确定所述聚类中心试题的重要关键字符记为第一字符串，确定待聚类试题的重要关键字符记为第二字符串的步骤包括：

采用词频-逆文档频度模型构建重要关键字字符库；

根据所述重要关键字字符库确定所述第一字符串和所述第二字符串。

可选的，所述加权编辑距离的操作包括：插入、删除、替换；其中，在计算加权操作次数时：删除记为一次操作，插入记为一次操作，替换记为两次操作。

第二方面，本发明还提供一种试题的去重方法，包括：采用本发明提供的任意一种试题的聚类方法对待去重试题组中的试题进行聚类处理；