[发明专利]一种文本分类方法、装置、存储介质及终端设备

说明书

本发明公开了一种文本分类方法，包括：对待分类文本中数据量小于预设阈值的文本进行数据增强，获得新文本；对所述待分类文本和所述新文本进行预处理，获得处理后的文本；根据所述处理后的文本的文本长度和符号个数获取所述处理后的文本的第一文本特征向量；其中，所述符号包括标点符号和数学符号；基于预先训练的神经网络模型，根据所述处理后的文本获取第二文本特征向量；基于全连接层和softmax层，根据所述第一文本特征向量和所述第二文本特征向量对所述待分类文本的类别进行预测。相应的，本发明还公开了一种文本分类装置、计算机可读存储介质及终端设备。本发明能够提高机器学习的泛化能力，从而提高文本分类的准确性。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种文本分类方法、装置、计算机可读存储介质及终端设备。

背景技术

随着机器学习技术不断发展，机器学习技术在自然语言处理等领域的应用也越来越频繁，基于机器学习的文本自动分类是近年来自然语言处理领域中非常热门的一个研究方向，所谓的文本自动分类是指在给定分类体系的前提下，利用机器学习的方式来对文本的内容进行分析，从而自动确定文本类别的过程。

机器学习过程需要获得相应的文本特征，现有技术提供的技术方案通常是利用深度学习方法自动从文本的原始数据中提取文本特征，但是，基于深度学习方法提取文本特征时需要大量的原始数据，而在实际的文本分类过程中，往往有一些类别的文本的数据量很少，导致机器学习的泛化能力不足，影响文本分类的准确性。

发明内容

本发明实施例所要解决的技术问题在于，提供一种文本分类方法、装置、计算机可读存储介质及终端设备，能够提高机器学习的泛化能力，从而提高文本分类的准确性。

为了解决上述技术问题，本发明实施例提供了一种文本分类方法，包括：

对待分类文本中数据量小于预设阈值的文本进行数据增强，获得新文本；

对所述待分类文本和所述新文本进行预处理，获得处理后的文本；

根据所述处理后的文本的文本长度和符号个数获取所述处理后的文本的第一文本特征向量；其中，所述符号包括标点符号和数学符号；

基于预先训练的神经网络模型，根据所述处理后的文本获取第二文本特征向量；

基于全连接层和softmax层，根据所述第一文本特征向量和所述第二文本特征向量对所述待分类文本的类别进行预测。

进一步地，所述对待分类文本中数据量小于预设阈值的文本进行数据增强，获得新文本，具体包括：

基于预先训练的第一翻译模型，根据所述待分类文本中数据量小于预设阈值的文本获取第一语种文本；

基于预先训练的第二翻译模型，根据所述第一语种文本获取所述新文本；其中，所述新文本对应的语种与所述数据量小于预设阈值的文本对应的语种相同。

进一步地，所述第一翻译模型为中英翻译模型；所述第二翻译模型为英中翻译模型。

进一步地，所述对所述待分类文本和所述新文本进行预处理，获得处理后的文本，具体包括：

对所述待分类文本和所述新文本进行结巴中文分词、去除停用词处理，获得所述处理后的文本。

进一步地，所述神经网络模型包括循环神经网络、一维卷积神经网络和池化神经网络。

进一步地，所述基于预先训练的神经网络模型，根据所述处理后的文本获取第二文本特征向量，具体包括：

获取所述处理后的文本中的每个词的fastText词向量；

基于所述循环神经网络，根据所述fastText词向量获取每个所述fastText词向量的上下文向量；