[发明专利]一种文本分类方法、装置、电子设备及存储介质在审
申请号: | 201910519424.1 | 申请日: | 2019-06-14 |
公开(公告)号: | CN110321557A | 公开(公告)日: | 2019-10-11 |
发明(设计)人: | 徐波 | 申请(专利权)人: | 广州多益网络股份有限公司;广东利为网络科技有限公司;多益网络有限公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27;G06K9/62 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 麦小婵;郝传鑫 |
地址: | 510000 广*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 待分类文本 文本特征向量 文本分类 预处理 文本分类模型 存储介质 电子设备 特征向量 文本样本 预设 分类结果 拼音特征 文本类别 词序列 字序列 向量 学习 | ||
1.一种文本分类方法,其特征在于,所述方法包括:
获取待分类文本,并对所述待分类文本进行预处理;
根据预处理后的所述待分类文本,提取所述待分类文本的文本特征向量;其中,所述文本特征向量包括拼音特征向量、字序列特征向量和词序列特征向量;
将所述待分类文本的文本特征向量输入预设的文本分类模型中,获得所述待分类文本的分类结果;其中,所述文本分类模型根据预设的文本样本以及与文本样本对应的文本类别学习。
2.如权利要求1所述的文本分类方法,其特征在于,所述文本特征向量还包括字符数量特征向量;其中,所述字符数量特征向量包括用于指示在预处理后的待分类文本中与每一种预设的字符类别对应的字符的数量的元素。
3.如权利要求2所述的文本分类方法,其特征在于,所述字符类别包括标点字符类别、特殊符号类别、简体中文字符类别和繁体中文字符类别。
4.如权利要求1所述的文本分类方法,其特征在于,所述根据预处理后的所述待分类文本,提取所述待分类文本的文本特征向量具体包括:
根据预处理后的所述待分类文本中每个文字的拼音,获得拼音序列,并根据所述拼音序列提取所述拼音特征向量;
对预处理后的所述待分类文本中的每个字符进行序列化处理,获得字序列,并根据所述字序列提取所述字序列特征向量;
将预处理后的所述待分类文本输入预设的分词器,获得词序列,并根据所述词序列提取所述词序列特征向量;
将所述拼音特征向量、所述字序列特征向量和所述词序列特征向量按照预设的融合方式进行特征融合,获得所述待分类文本的文本特征向量。
5.如权利要求4所述的文本分类方法,其特征在于,所述分词器为结巴分词器;所述拼音特征向量、所述字序列特征向量和所述词序列特征向量均通过TF-IDF技术提取。
6.如权利要求1所述的文本分类方法,其特征在于,所述将所述待分类文本的文本特征向量输入预设的文本分类模型中,获得所述待分类文本的分类结果具体包括:
将所述待分类文本的文本特征向量输入预设的文本分类模型中,计算所述待分类文本的文本特征向量分别为预设的各个文本类别的概率值;
获得所述概率值中的最大概率值,并将所述待分类文本的分类结果确定为预设的各个文本类别中与所述最大概率值对应的文本类别。
7.如权利要求1所述的文本分类方法,其特征在于,所述对所述待分类文本进行预处理具体包括:
根据预设的停用词表,检测所述待分类文本中是否存在停用词;
若所述待分类文本中存在停用词,则将所述待分类文本中的停用词去除;
所述对所述待分类文本进行预处理还包括:
遍历所述待分类文本的所有字符,检测是否存在全角格式的字符;
若所述待分类文本中存在全角格式的字符,则将所述待分类文本中的全角格式的字符转化成半角格式的字符。
8.一种文本分类装置,其特征在于,所述装置包括:
预处理模块,用于获取待分类文本,并对所述待分类文本进行预处理;
文本特征向量提取模块,用于根据预处理后的所述待分类文本,提取所述待分类文本的文本特征向量;其中,所述文本特征向量包括拼音特征向量、字序列特征向量和词序列特征向量;
分类结果获取模块,用于将所述待分类文本的文本特征向量输入预设的文本分类模型中,获得所述待分类文本的分类结果;其中,所述文本分类模型根据预设的文本样本以及与文本样本对应的文本类别学习。
9.一种电子设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的文本分类方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的文本分类方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于广州多益网络股份有限公司;广东利为网络科技有限公司;多益网络有限公司,未经广州多益网络股份有限公司;广东利为网络科技有限公司;多益网络有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910519424.1/1.html,转载请声明来源钻瓜专利网。