[发明专利]一种无监督式的题目聚合方法、装置、电子设备及存储介质

说明书

本发明实施例涉及信息检索技术领域，公开了一种无监督式的题目聚合方法、装置、电子设备及存储介质。该方法包括：将目标题目输入预训练模型，得到所述目标题目对应的句特征向量；将所述句特征向量输入检索引擎，搜索所述检索引擎构建的二叉检索树，确定目标叶子节点，所述目标叶子节点为与所述句特征向量相似度最大的叶子节点；为所述目标题目赋予标签，所述标签为目标叶子节点所属的簇对应的类别标签。实施本发明实施例，首先可以通过对已有题目进行聚类后，能将题目库中的相似题进行聚类；同时，通过遍历二叉检索树对新入库的目标题目自动打标，可以很大程度上降低维护成本，也减少人员标注引入的误差。

技术领域

本发明涉及信息检索技术领域，具体涉及一种无监督式的题目聚合方法、装置、电子设备及存储介质。

背景技术

通常而言，新题目数据库构建或者新增题目入库的过程，都需要对题目进行年级、科目、知识点或者相似的题型等数据标注。然而，该过程目前仍旧依赖于人工打标。该过程除了需要大量人力资源之外，也由于庞杂的知识点体系和不同的教材版本导致每个标注人员主观判断不一致的问题，题目库的构建与补充过程中引入许多错误数据；无法得到题目的精准标注。

发明内容

针对所述缺陷，本发明实施例公开了一种无监督式的题目聚合方法、装置、电子设备及存储介质，能够降低维护成本，也减少人员标注引入的误差。

本发明实施例第一方面公开一种无监督式的题目聚合方法，所述方法包括：

将目标题目输入预训练模型，得到所述目标题目对应的句特征向量；

将所述句特征向量输入检索引擎，搜索所述检索引擎构建的二叉检索树，确定目标叶子节点，所述目标叶子节点为与所述句特征向量相似度最大的叶子节点；

为所述目标题目赋予标签，所述标签为目标叶子节点所属的簇对应的类别标签。

作为一种可选的实施方式，在本发明实施例第一方面中，所述将目标题目输入预训练模型，得到所述目标题目对应的句特征向量，包括：

利用无监督数据训练的BERT预训练中文模型将所述目标题目转化为句特征向量。

作为一种可选的实施方式，在本发明实施例第一方面中，在将目标题目输入预训练模型之前，还包括：对所述目标题目进行预处理，所述预处理包括去除所述目标题目中的题目编号和/或题目分数。

作为一种可选的实施方式，在本发明实施例第一方面中，如果所述目标题目中包括特殊字符，则所述预处理还包括：将所述特殊字符转换成LaTex格式；所述特殊字符为数学公式、化学式以及标点符号中的任一种或多种。

作为一种可选的实施方式，在本发明实施例第一方面中，所述检索引擎为Annoy检索引擎，所述Annoy构建分割超平面的二叉检索树，将题目库中已有题目聚类到二叉检索树的叶子节点，为每一个叶子节点所属的簇标注不同的类别标签。

作为一种可选的实施方式，在本发明实施例第一方面中，搜索所述检索引擎构建的二叉检索树，确定目标叶子节点，包括：

从二叉检索树的根节点出发，计算所述句特征向量与左孩子节点以及右孩子节点的相似度，如果句特征向量与所述左孩子节点的相似度大于所述句特征向量与所述右孩子节点的相似度，则以相同方法遍历所述左孩子节点的子节点，直至遍历到叶子节点；反之则以相同方法遍历所述右孩子节点的子节点，直至遍历到叶子节点。

作为一种可选的实施方式，在本发明实施例第一方面中，为所述目标题目赋予标签，所述标签为目标叶子节点所属的簇对应的类别标签，包括：

直接将所述类别标签赋予所述目标题目；

或者，