[发明专利]一种文本类别标注的方法、电子设备和可读存储介质有效
申请号: | 201910456149.3 | 申请日: | 2019-05-29 |
公开(公告)号: | CN110347821B | 公开(公告)日: | 2023-08-25 |
发明(设计)人: | 过弋;张振豪;王志宏;樊振;韩美琪;王家辉 | 申请(专利权)人: | 华东理工大学;石河子大学 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F16/9536 |
代理公司: | 上海晨皓知识产权代理事务所(普通合伙) 31260 | 代理人: | 成丽杰 |
地址: | 200237 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 类别 标注 方法 电子设备 可读 存储 介质 | ||
1.一种文本类别标注的方法,其特征在于,包括:
搜索待标注文本对应的候选类别;
根据所述候选类别,确定分类模型,所述分类模型根据各第一样本文本,以及各所述第一样本文本对应的底层子类别训练获得,其中,所述底层子类别位于所述候选类别所在类别层次结构的底层,所述候选类别位于所述类别层次结构的顶层且所述候选类别为父类别,所述类别层次结构至少包括2层类别;
根据所述待标注文本以及所述分类模型,确定所述待标注文本的实际文本类别,并按照所述实际文本类别标注所述待标注文本;
其中,所述搜索待标注文本对应的候选类别,具体包括:
获取所述待标注文本的候选类别的认知因子集合,所述认知因子集合包括匹配的候选类别以及与所述匹配的候选类别对应的初始概率值;
计算所述待标注文本的类别与各候选类别之间的相似度,聚集各相似度获得相似度集合;
根据所述认知因子集合以及所述相似度集合,确定所述候选类别概率集合;
其中,所述根据所述认知因子集合以及所述相似度集合,确定所述候选类别概率集合,包括:
根据所述认知因子集合以及所述相似度集合,计算各类别对应的所述相似度与所述认知因子之积,并将计算的各积组成的集合确定为所述候选类别概率值集合;
按照预设规则以及所述候选类别概率集合,选取所述待标注文本的候选类别。
2.根据权利要求1所述的文本类别标注的方法,其特征在于,所述获取所述待标注文本的候选类别的认知因子集合,具体包括:
将所述待标注文本输入预设的初始候选类别分类模型,获得所述待标注文本的候选类别认知因子集合,其中,所述初始候选类别分类模型根据各第二样本文本以及各所述第二样本文本对应的候选类别训练获得。
3.根据权利要求1所述的文本类别标注的方法,其特征在于,所述按照预设规则以及所述候选类别概率集合,选取所述待标注文本的候选类别,具体包括:
从所述候选类别概率集合中,选取大于预设阈值的概率值,并将选取的概率值所对应的候选类别作为所述待标注文本的候选类别;
或者,
将候选类别概率集中的概率值降序排列,并从排序后的概率集合中选取预设个数的概率值,并将选取的概率值所对应的候选类别作为所述待标注文本的候选类别,所述预设个数至少包括2个。
4.根据权利要求1至3中任一项所述的文本类别标注的方法,其特征在于,所述根据所述候选类别,确定分类模型,具体包括:
根据所述候选类别,以及所述候选类别对应的类别层次结构,获取所述类别层次结构中所有底层子类别构成的底层子类别集合;
根据所述底层子类别集合,确定分类模型。
5.根据权利要求4所述的文本类别标注的方法,其特征在于,所述根据所述底层子类别集合,确定分类模型,具体包括:
根据所述底层子类别集合,以及预设的所述底层子类别集合与所述分类模型之间的对应关系,确定所述分类模型。
6.根据权利要求4所述的文本类别标注的方法,其特征在于,所述分类模型的训练过程,具体包括:
按照所述底层子类别集合,获取与所述底层子类别集合对应的第一样本文本集合,所述第一样本文本集合包括与每个所述底层子类别对应的所述第一样本文本;
将各所述第一样本文本作为所述分类模型的输入数据,将与各第一样本文本对应的底层子类别作为所述分类模型的输出数据;
根据所述输入数据和所述输出数据,训练获得所述分类模型。
7.根据权利要求6所述的文本类别标注的方法,其特征在于,在训练获得所述分类模型之后,且在所述根据所述底层子类别集合,确定分类模型之前,所述文本类别标注的方法还包括:
保存训练获得的所述分类模型,以及所述分类模型与所述底层子类别集合之间的对应关系。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华东理工大学;石河子大学,未经华东理工大学;石河子大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910456149.3/1.html,转载请声明来源钻瓜专利网。