[发明专利]一种试题的聚类方法、去重方法及系统

权利要求书

1.一种试题的聚类方法，其特征在于，包括：

在所有参与聚类的试题中选取聚类中心试题；

确定所述聚类中心试题的重要关键字符记为第一字符串，确定待聚类试题的重要关键字符记为第二字符串，所述重要关键字符为新增、替换或者修改后会改变试题含义或者类型的字符；

计算所述第一字符串和所述第二字符串之间的加权编辑距离，所述加权编辑距离为所述第一字符串和所述第二字符串之间相互转化的最少的加权操作次数；

根据所述加权编辑距离计算所述待聚类试题与所述聚类中心试题之间的相似度，其中，相似度r的计算公式为：

r＝(sum-dist)/sum，其中，sum为所述第一字符串和所述第二字符串的长度总和，dist为所述加权编辑距离；

将相似度大于预设阈值的所述待聚类试题与所述聚类中心试题归为同一试题类。

2.根据权利要求1所述的聚类方法，其特征在于，

在所有参与聚类的试题中选取聚类中心试题的步骤之前，还包括：

统一试题格式，其中，包括：

对包含不同字符格式或者公式图片的htm试题文件进行分类识别和内容解析，转换成latex试题文本；

将latex试题文本转换成可正常阅读的文本格式。

3.根据权利要求1所述的聚类方法，其特征在于，

在所有参与聚类的试题中选取聚类中心试题的步骤具体包括：

根据试题的创建时间和试题的质量评价，对所有参与聚类的试题进行排序；

选择排序为第一位的试题作为所述聚类中心试题。

4.根据权利要求1所述的聚类方法，其特征在于，

确定所述聚类中心试题的重要关键字符记为第一字符串，确定待聚类试题的重要关键字符记为第二字符串的步骤包括：

采用词频-逆文档频度模型构建重要关键字字符库；

根据所述重要关键字字符库确定所述第一字符串和所述第二字符串。

5.根据权利要求1所述的聚类方法，其特征在于，

所述加权编辑距离的操作包括：插入、删除、替换；其中，在计算加权操作次数时：删除记为一次操作，插入记为一次操作，替换记为两次操作。

6.一种试题的去重方法，其特征在于，包括：

采用权利要求1至5任一项所述的试题的聚类方法对待去重试题组中的试题进行聚类处理；

删除与所述聚类中心试题属于同一试题类的试题。

7.一种试题的聚类系统，其特征在于，包括：聚类中心试题选取模块、重要关键字符确定模块、加权编辑距离计算模块、相似度计算模块和试题归类模块；其中，

所述聚类中心试题选取模块，与所述重要关键字符确定模块相连接，用于在所有参与聚类的试题中选取聚类中心试题，并将选取的所述聚类中心试题发送给所述重要关键字符确定模块；

所述重要关键字符确定模块，与所述加权编辑距离计算模块相连接，用于确定所述聚类中心试题的重要关键字符记为第一字符串，确定待聚类试题的重要关键字符记为第二字符串，并将所述第一字符串和所述第二字符串发送给所述加权编辑距离计算模块，所述重要关键字符为新增、替换或者修改后会改变试题含义或者类型的字符；

所述加权编辑距离计算模块，与所述相似度计算模块相连接，用于计算所述第一字符串和所述第二字符串之间的加权编辑距离，并将所述加权编辑距离发送给所述相似度计算模块，所述加权编辑距离为所述第一字符串和所述第二字符串之间相互转化的最少的加权操作次数；

所述相似度计算模块，与试题归类模块相连接，用于根据所述加权编辑距离计算所述待聚类试题与所述聚类中心试题之间的相似度，并将所述相似度发送给所述试题归类模块，其中，相似度r的计算公式为：r＝(sum-dist)/sum，其中，sum为所述第一字符串和所述第二字符串的长度总和，dist为所述加权编辑距离；

所述试题归类模块，用于将相似度大于预设阈值的所述待聚类试题与所述聚类中心试题归为同一试题类。