[发明专利]基于目标语义的文本分类方法、装置、设备及存储介质有效
申请号: | 202110838467.3 | 申请日: | 2021-07-23 |
公开(公告)号: | CN113486670B | 公开(公告)日: | 2023-08-29 |
发明(设计)人: | 于凤英;王健宗 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F40/30 | 分类号: | G06F40/30;G06F40/253;G06F18/23213;G06F18/2415;G06N3/088 |
代理公司: | 深圳众鼎专利商标代理事务所(普通合伙) 44325 | 代理人: | 陈美君 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 目标 语义 文本 分类 方法 装置 设备 存储 介质 | ||
1.一种基于目标语义的文本分类方法,其特征在于,包括:
利用BERT预训练模型获取文本语料库中每个目标词的第一特征向量,以及每个预设种子词的第二特征向量;
基于所述目标词的第一特征向量、所述预设种子词的第二特征向量及所述文本语料库的分类标签集合,按照K均值聚类算法对所述目标词进行聚类分析,确定每个所述目标词的目标语义;
利用基于所述文本语料库中已确定目标词目标语义的文本与所述预设种子词构建得到的第一训练样本,对HAN模型进行训练,将训练后的HAN模型作为第一文本分类模型;
使用所述第一文本分类模型对所述文本语料库中的文本进行分类,并对所述文本添加分类标签;
根据预设的排序系数公式,确定所述目标词的分类语义,将确定了分类语义的所述目标词作为扩展种子词;
利用基于已添加分类标签的文本、所述预设种子词及所述扩展种子词构建得到的第二训练样本,训练HAN模型,将训练后的HAN模型作为第二文本分类模型;
使用所述第二文本分类模型根据待分类文本中所述预设种子词及所述扩展种子词出现的频次,对所述待分类文本进行分类,为所述待分类文本添加分类标签。
2.如权利要求1所述的基于目标语义的文本分类方法,其特征在于,基于所述目标词的第一特征向量、所述预设种子词的第二特征向量及所述文本语料库的分类标签集合,按照K均值聚类算法对所述目标词进行聚类分析,确定每个所述目标词的目标语义,包括:
基于所述预设种子词的第二特征向量及所述文本语料库的分类标签集合,确定聚类分析中的初始聚类中心;
根据所述初始聚类中心,采用K均值聚类算法对所述目标词的第一特征向量进行聚类分析,得到所述目标词的K个语义;其中,K的值为所述初始聚类中心的个数;
根据所述目标词的第一特征向量与所述分类标签集合中各个分类标签之间余弦相似度取值,确定所述目标词的目标语义。
3.如权利要求2所述的基于目标语义的文本分类方法,其特征在于,基于所述预设种子词的第二特征向量及所述文本语料库的分类标签集合,确定聚类分析中的初始聚类中心,包括:
计算所述分类标签集合中各个分类标签之间的余弦相似度,得到第一相似度序列,并选取所述第一相似度序列中的最大值作为第一聚类值;
基于每个所述预设种子词在所述文本语料库中出现的频次,计算每个所述预设种子词对应的第二聚类值;
将全部所述预设种子词对应的第二聚类值进行排序,选取排序后的全部所述第二聚类值的中位数作为第三聚类值;
当所述第一聚类值小于所述第三聚类值时,对所述分类标签进行过滤,得到聚类分析中的初始聚类中心。
4.如权利要求2所述的基于目标语义的文本分类方法,其特征在于,所述根据所述目标词的第一特征向量与所述分类标签集合中各个分类标签之间余弦相似度取值,确定所述目标词的目标语义,包括:
计算所述目标词的第一特征向量与分类标签集合中各个分类标签之间的余弦相似度;
根据计算得到的最大余弦相似度对应的分类标签,确定所述目标词的目标语义。
5.如权利要求3所述的基于目标语义的文本分类方法,其特征在于,所述基于每个所述预设种子词在所述文本语料库中出现的频次,计算每个所述预设种子词对应的第二聚类值,包括:
计算同一所述预设种子词的各个第二特征向量之间的余弦相似度,得到第二相似度序列,并选取所述第二相似度序列中的中位数作为第二聚类值。
6.如权利要求1所述的基于目标语义的文本分类方法,其特征在于,所述利用基于所述文本语料库中已确定目标词目标语义的文本与所述预设种子词构建得到的第一训练样本,对HAN模型进行训练,将训练后的HAN模型作为第一文本分类模型,包括:
根据所述预设种子词出现的频次,为所述文本语料库中的文本添加待定分类标签;
根据所述目标词的目标语义及所述文本语料库中已添加待定分类标签的文本,训练HAN模型,将训练后的HAN模型作为第一文本分类模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110838467.3/1.html,转载请声明来源钻瓜专利网。