[发明专利]文本分类方法、装置、计算机设备和介质在审
申请号: | 202011389826.3 | 申请日: | 2020-12-01 |
公开(公告)号: | CN112445914A | 公开(公告)日: | 2021-03-05 |
发明(设计)人: | 赵婧;王健宗;程宁 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F16/335;G06N3/04;G06N3/08 |
代理公司: | 深圳市力道知识产权代理事务所(普通合伙) 44507 | 代理人: | 张传义 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 分类 方法 装置 计算机 设备 介质 | ||
1.一种文本分类方法,其特征在于,包括:
获取待分类文本,对所述待分类文本进行项集挖掘,得到所述待分类文本对应的高效用项集,其中,所述高效用项集包括至少两个词组;
对所述高效用项集中的每个词组进行向量化,得到所述待分类文本对应的词向量矩阵;
将所述词向量矩阵输入文本分类模型中进行分类预测,得到所述待分类文本对应的文本类别。
2.根据权利要求1所述的文本分类方法,其特征在于,所述对所述待分类文本进行项集挖掘,得到所述待分类文本对应的高效用项集,包括:
对所述待分类文本进行分词处理,得到所述待分类文本对应的多个词组;
对所述多个词组进行组合,得到所述待分类文本对应的多个项集;
确定每个所述项集对应所述待分类文本的效用值,将对应的效用值不小于预设效用阈值的项集,确定为所述待分类文本对应的所述高效用项集。
3.根据权利要求2所述的文本分类方法,其特征在于,所述对所述待分类文本进行分词处理,得到所述待分类文本对应的多个词组,包括:
基于预设的分词库,对所述待分类文本中的每个语句进行分词处理,得到所述待分类文本对应的多个所述词组;
所述对所述待分类文本进行分词处理,得到所述待分类文本对应的多个词组之后,还包括:
基于预设的停用词库,对多个所述词组进行过滤处理,得到过滤处理后的多个所述词组。
4.根据权利要求2所述的文本分类方法,其特征在于,所述确定每个所述项集对应所述待分类文本的效用值,包括:
将每个所述项集中每个所述词组在所述待分类文本的每个语句中出现的次数,确定为每个所述词组对应每个所述语句的第一效用值;
将每个所述项集中的各个词组对应各个所述语句的第一效用值之和,确定为每个所述项集对应每个所述语句的第二效用值;
将每个所述项集对应各个所述语句的第二效用值之和,确定为每个所述项集对应所述待分类文本的所述效用值。
5.根据权利要求1所述的文本分类方法,其特征在于,所述对所述高效用项集中的每个词组进行向量化,得到所述待分类文本对应的词向量矩阵,包括:
从区块链中获取词向量模型;
将每个所述词组输入所述词向量模型进行向量化,得到所述待分类文本对应的所述词向量矩阵。
6.根据权利要求1所述的文本分类方法,其特征在于,所述文本分类模型包括卷积层、池化层、全连接层以及归一化层;所述将所述词向量矩阵输入文本分类模型中进行分类预测,得到所述待分类文本对应的文本类别,包括:
将所述词向量矩阵输入所述卷积层中进行卷积处理,得到所述词向量矩阵对应的特征图像;
将所述特征图像输入所述池化层进行池化处理,得到池化处理后的所述特征图像;
将池化处理后的所述特征图像输入所述全连接层进行进行全连接处理,并通过所述归一化层对全连接处理的结果进行归一化处理,得到所述待分类文本对应的文本类别。
7.根据权利要求1所述的文本分类方法,其特征在于,所述将所述词向量矩阵输入文本分类模型中进行分类预测之前,还包括:
获取预设数量的原始文本对应的高效用项集的词向量矩阵,并根据所述原始文本对应的真实类别对每个词向量矩阵进行类别标注,将类别标注后的所述词向量矩阵作为训练样本;
将所述训练样本输入所述文本分类模型中进行分类训练,得到所述训练样本对应的预测类别;
基于预设的损失函数,根据所述训练样本对应的预测类别以及所述训练样本对应的真实类别,计算损失函数值;
基于预设的梯度下降算法,根据所述损失函数值调整所述文本分类模型中的参数并进行下一轮训练,直至得到的损失函数值小于预设损失阈值时,结束训练,得到训练后的所述文本分类模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011389826.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:抗油抗盐起泡剂
- 下一篇:一种电动汽车限速控制方法、装置及介质