[发明专利]一种文本分类方法、装置、设备及存储介质

说明书

本发明实施例属于人工智能领域，尤其涉及一种文本分类方法、装置、设备及存储介质，所述方法包括：获取待分析文本，对文本进行分词形成分词集合，并根据主题模型获取文本的主题词形成主题词集合；获取主题词集合中每个词的词嵌入向量，将词嵌入向量降维映射到平面上，并根据平面上的映射点构造维诺图；计算非主题词与主题词之间的语义距离，将非主题词加入到维诺图中；识别维诺图中每个词的词节点类型，根据词节点类型通过对应的算法计算出词节点之间的语义距离；将词节点之间的语义距离输入预先构建的图卷积神经网络输出图隐含向量，根据图隐含向量进行文本分类。本发明提高了文本分类的准确性。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种文本分类方法、装置、设备及存储介质。

背景技术

文本分类是自然语言处理领域中的常见任务。近年来，从传统基于特征工程+机器学习分类法，诸如基于TF-IDF(词频-逆文档频率)提取特征再训练机器学习分类器，到将各种基于CNN(卷积神经网络)、RNN(循环神经网络)的深度学习方法引入文本分类，例如fasttext、textCNN、TextRNN等。再如近年来基于深度神经网络的预训练语言模型BERT(基于变换器的双向编码器表示技术)、ELMO(语言模型的嵌入)等出现，使得文本分类的准确率已经得到了很大提高。

但是发明人发现，现有方法主要着眼于局部特征的捕捉，从整体上获取更高层面、更隐含信息的技术手段依然有限。

发明内容

本发明实施例的目的在于提出一种文本分类方法、装置、设备及存储介质，解决了现有技术中基于局部特征的捕捉进行文本分类的问题，从多维度多个维度提取语义特征，提高了文本分类的准确率。

为了解决上述技术问题，本发明实施例提供一种文本分类方法，包括：获取待分析文本，对所述文本进行分词形成分词集合，并根据主题模型获取所述文本的主题词形成主题词集合；获取所述主题词集合中每个词的词嵌入向量，将所述词嵌入向量降维映射到平面上，并根据所述平面上的映射点构造维诺图；计算非主题词与所述主题词之间的语义距离，根据所述语义距离将所述非主题词加入到所述维诺图中；识别所述维诺图中每个词的词节点类型，根据所述词节点类型通过对应的算法计算出词节点之间的语义距离；将所述词节点之间的语义距离输入预先构建的图卷积神经网络输出图隐含向量，根据所述图隐含向量进行文本分类。

进一步的，所述获取所述主题词集合中每个词的词嵌入向量，将所述词嵌入向量降维映射到平面上，并根据所述平面上的映射点构造维诺图的步骤，包括：根据词向量模型，获得所述主题词集合中每个词的词嵌入向量；根据t-随机邻近嵌入法将主题词集合中每个词的词嵌入向量降维映射到平面上，并基于所有的映射点构造网格，形成维诺图。

进一步的，所述计算非主题词与所述主题词之间的语义距离，将所述非主题词加入到所述维诺图中的步骤，包括：根据所述分词集合和主题词集合的差集形成差集集合，计算所述差值集合中的每个非主题词到所述主题词集合中的每个主题词的语义距离，并根据所述语义距离将所述差值集合中的每个非主题词划分到距离最近的主题词所在的所述维诺图的网格中。

进一步的，所述词节点类型包括普通词节点和实体节点；所述识别所述维诺图中每个词的词节点类型，包括：通过命名实体识别来识别实体节点，如果不是实体节点，则确定为普通词节点。

进一步的，所述识别所述维诺图中每个词的词节点类型，根据所述词节点类型通过对应的算法计算出词节点之间的语义距离的步骤，包括：

判断待计算的两个词节点的词节点类型是否相同；

若类型不同，则计算所述普通词节点的词嵌入向量和所述实体节点的词嵌入向量之间的余弦距离，作为待计算的两个词节点之间的语义距离；

若类型相同，则确定所述词节点是普通节点还是实体节点，若为普通节点，则根据普通节点对应的普通算法计算出词节点之间的语义距离，若为实体节点，则根据实体节点对应的实体算法计算出词节点之间的语义距离。