[发明专利]一种文本分类方法及终端有效
申请号: | 201811182173.4 | 申请日: | 2018-10-11 |
公开(公告)号: | CN109471938B | 公开(公告)日: | 2023-06-16 |
发明(设计)人: | 金戈;徐亮;肖京 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35 |
代理公司: | 深圳中一专利商标事务所 44237 | 代理人: | 官建红 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 分类 方法 终端 | ||
1.一种文本分类方法,其特征在于,包括:
获取待处理的目标文本,以及获取待分类的多个文本类别标识;
将所述目标文本转换为词向量;
根据所述文本类别标识的数目确定多分类模型包含的二分类器的数目;所述多分类模型由循环神经网络以及多个所述二分类器构成,所述循环神经网络用于提取输入所述循环神经网络的文本数据的特征数据,多个所述二分类器用于对所述特征数据进行处理并输出分类结果;
基于文本样本集对所述多分类模型进行预训练,并将所述目标文本对应的所述词向量输入完成训练的多分类模型进行处理,输出所述目标文本对应的文本分类结果;所述文本分类结果用于标识所述目标文本所属的至少两个独立且不互斥的目标文本类别,所述目标文本类别的标识从所述多个文本类别标识中确定;
所述基于文本样本集对所述多分类模型进行预训练,并将所述目标文本对应的所述词向量输入完成训练的多分类模型进行处理,输出所述目标文本对应的文本分类结果,包括:
基于所述文本样本集采用机器学习算法以及预设的损失函数对所述多分类模型进行训练,得到所述完成训练的多分类模型;
将所述目标文本对应的所述词向量输入所述完成训练的多分类模型进行处理,输出所述目标文本对应的文本分类结果;
其中,所述预设的损失函数具体为:y为样本数据的数量,yture为标记的已知文本类别标签,ypred为预测得到的文本类别标签;λ(ytrue-ypred)=1-θ(ytrue-m)×θ(ypred-m)-θ(1-m-ytrue)×θ(1-m-ypred),θ(x)为跃阶函数,m的取值范围为(0.5,1),标识让所述多分类模型更关注分类概率在0.5到m之间的样本数据。
2.根据权利要求1所述的文本分类方法,其特征在于,所述将所述目标文本对应的所述词向量输入所述完成训练的多分类模型进行处理,输出所述目标文本对应的文本分类结果,包括:
将由所述目标文本对应的词向量组成的单列向量矩阵输入完成训练的多分类模型进行处理,输出所述单列向量矩阵中每个词向量的值;
基于所述单列向量矩阵中每个所述词向量的值确定所述目标文本对应的文本分类结果。
3.根据权利要求2所述的文本分类方法,其特征在于,所述基于所述单列向量矩阵中每个所述词向量的值确定所述目标文本对应的文本分类结果,包括:
基于所述单列向量矩阵中每个所述词向量的值,确定至少两个目标词向量;所述目标词向量的值均大于或等于预设阈值;
将每个所述目标词向量各自对应的文本类别,识别为所述目标文本所属的目标文本类别。
4.根据权利要求1至3任一项所述的文本分类方法,其特征在于,所述根据所述文本类别标识的数目确定多分类模型包含的二分类器的数目,包括:
当所述文本类别标识的数目为N时,所述多分类模型包含的二分类器的数目为N为大于2的正整数。
5.根据权利要求1至3任一项所述的文本分类方法,其特征在于,所述根据所述文本类别标识的数目确定多分类模型包含的二分类器的数目,包括:
当所述文本类别标识的数目为N时,所述多分类模型包含的二分类器的数目M=log2N;N为大于2的正整数,M为正数;当M不为整数时,取大于M且与M最接近的正整数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811182173.4/1.html,转载请声明来源钻瓜专利网。