[发明专利]一种无监督式的题目聚合方法、装置、电子设备及存储介质在审
申请号: | 202010366597.7 | 申请日: | 2020-04-30 |
公开(公告)号: | CN111563097A | 公开(公告)日: | 2020-08-21 |
发明(设计)人: | 钟椿荣;甘巧 | 申请(专利权)人: | 广东小天才科技有限公司 |
主分类号: | G06F16/245 | 分类号: | G06F16/245;G06F16/22;G06K9/62 |
代理公司: | 广州智斧知识产权代理事务所(普通合伙) 44649 | 代理人: | 孔德超 |
地址: | 528850 广东省东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 监督 题目 聚合 方法 装置 电子设备 存储 介质 | ||
1.一种无监督式的题目聚合方法,其特征在于,包括:
将目标题目输入预训练模型,得到所述目标题目对应的句特征向量;
将所述句特征向量输入检索引擎,搜索所述检索引擎构建的二叉检索树,确定目标叶子节点,所述目标叶子节点为与所述句特征向量相似度最大的叶子节点;
为所述目标题目赋予标签,所述标签为目标叶子节点所属的簇对应的类别标签。
2.根据权利要求1所述的方法,其特征在于,所述将目标题目输入预训练模型,得到所述目标题目对应的句特征向量,包括:
利用无监督数据训练的BERT预训练中文模型将所述目标题目转化为句特征向量。
3.根据权利要求1所述的方法,其特征在于,在将目标题目输入预训练模型之前,还包括:对所述目标题目进行预处理,所述预处理包括去除所述目标题目中的题目编号和/或题目分数。
4.根据权利要求3所述的方法,其特征在于,如果所述目标题目中包括特殊字符,则所述预处理还包括:将所述特殊字符转换成LaTex格式;所述特殊字符为数学公式、化学式以及标点符号中的任一种或多种。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述检索引擎为Annoy检索引擎,所述Annoy构建分割超平面的二叉检索树,将题目库中已有题目聚类到二叉检索树的叶子节点,为每一个叶子节点所属的簇标注不同的类别标签。
6.根据权利要求5所述的方法,其特征在于,搜索所述检索引擎构建的二叉检索树,确定目标叶子节点,包括:
从二叉检索树的根节点出发,计算所述句特征向量与左孩子节点以及右孩子节点的相似度,如果句特征向量与所述左孩子节点的相似度大于所述句特征向量与所述右孩子节点的相似度,则以相同方法遍历所述左孩子节点的子节点,直至遍历到叶子节点;反之则以相同方法遍历所述右孩子节点的子节点,直至遍历到叶子节点。
7.根据权利要求6所述的方法,其特征在于,为所述目标题目赋予标签,所述标签为目标叶子节点所属的簇对应的类别标签,包括:
直接将所述类别标签赋予所述目标题目;
或者,
判断所述句特征向量和所述目标叶子节点的相似度是否大于或等于预设阈值,如果大于或等于预设阈值,则将所述类别标签赋予所述目标题目。
8.一种无监督式的题目聚合装置,其特征在于,其包括:
转化单元,用于将目标题目输入预训练模型,得到所述目标题目对应的句特征向量;
检索单元,用于将所述句特征向量输入检索引擎,搜索所述检索引擎构建的二叉检索树,确定目标叶子节点,所述目标叶子节点为与所述句特征向量相似度最大的叶子节点;
打标单元,用于为所述目标题目赋予标签,所述标签为目标叶子节点所属的簇对应的类别标签。
9.根据权利要求8所述的装置,其特征在于,所述检索单元,包括:
输入子单元,用于将所述句特征向量输入检索引擎;
遍历子单元,用于从二叉检索树的根节点出发,计算所述句特征向量与左孩子节点以及右孩子节点的相似度,如果句特征向量与所述左孩子节点的相似度大于所述句特征向量与所述右孩子节点的相似度,则以相同方法遍历所述左孩子节点的子节点,直至遍历到叶子节点;反之则以相同方法遍历所述右孩子节点的子节点,直至遍历到叶子节点。
10.一种电子设备,其特征在于,包括:存储有可执行程序代码的存储器;与所述存储器耦合的处理器;所述处理器调用所述存储器中存储的所述可执行程序代码,用于执行权利要求1至7任一项所述的一种无监督式的题目聚合方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储计算机程序,其中,所述计算机程序使得计算机执行权利要求1至7任一项所述的一种无监督式的题目聚合方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广东小天才科技有限公司,未经广东小天才科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010366597.7/1.html,转载请声明来源钻瓜专利网。