[发明专利]一种基于类别稠密向量表示的通用文本分类方法及系统

说明书

本发明提出一种基于类别稠密向量表示的通用文本分类方法及系统，包括：获取包括以标记类别文本的训练数据，使用全连接网络处理该训练数据，得到各类别的类别稠密向量；将待分类文本输入至深度神经网络，得到该待分类文本中每个词的词稠密向量，并集合该词稠密向量得到该待分类文本的文本稠密向量；将该文本稠密向量和该类别稠密向量输入至匹配度测量模型，得到该待分类文本属于各类别的概率分布，将该待分类文本与该概率分布中概率最大的类别相匹配，作为该待分类文本的分类结果。本发明基于类别稠密向量表示，将文本分类问题转化为文本匹配问题，通过计算输入文本与每个类别之间的匹配程度，将文本分到匹配程度最大的类别之中。

技术领域

本发明涉及文本分类技术领域，并特别涉及一种基于类别稠密向量表示的通用文本分类方法及系统。

背景技术

基于深度神经网络的文本分类方法可以分为单词特征提取、文本特征提取和非线性分类器三个部分，其中单词特征提取和文本特征提取由编码器完成，非线性分类由分类器完成。如图1所示，其中单词特征提取阶段得到每个词的词向量；文本特征提取是指利用文本中每个词的词向量得到文本的向量表示；非线性分类器是指利用全连接神经网络和Softmax层得到类别的概率分布。

现有的处理文本分类的思路虽然在一些应用领域取得了实际的效果，但是这种处理模式存在以下的不足之处：第一，所有的监督信号都来自于模型最尾端的分类器，在特征提取阶段没有显著的监督信息存在，使得整个分类模型成为一个“黑盒”。第二，最尾端的分类器得到了输入文本属于每个类别的概率分布，但是在整个模型中并没有显式地指出每个类别的语义表示，不具有可解释性。在现有技术中，虽然也有利用类别稠密向量表示处理文本分类问题的技术，其利用类别稠密向量表示增强文本特征提取的准确程度，本质上仍然是利用非线性分类器对提取到的文本特征进行非线性分类，没有建模出文本和不同类别之间的语义相似性，导致对文本信息利用不足，准确率低，不符合人类处理文本分类问题时的模式，缺少可解释性。

发明内容

本发明的目的时解决上述现有技术缺少显式建模文本的语义信息和缺少建模文本与类别之间相似程度的问题，提出了利用类别的稠密向量表示将文本分类问题转化为匹配问题的文本分类范式。

针对现有技术的不足，本发明提出一种基于类别稠密向量表示的通用文本分类方法，其中包括：

步骤1、获取包括以标记类别文本的训练数据，使用全连接网络处理该训练数据，得到各类别的类别稠密向量；

步骤2、将待分类文本输入至深度神经网络，得到该待分类文本中每个词的词稠密向量，并集合该词稠密向量得到该待分类文本的文本稠密向量；

步骤3、将该文本稠密向量和该类别稠密向量输入至匹配度测量模型，得到该待分类文本属于各类别的概率分布，将该待分类文本与该概率分布中概率最大的类别相匹配，作为该待分类文本的分类结果。

所述的基于类别稠密向量表示的通用文本分类方法，其中该步骤1包括：在生成类别稠密向量时，对该训练数据中所有属于同一类别的文本中的词的词向量表示取平均值，作为初始化的类别稠密向量。

所述的基于类别稠密向量表示的通用文本分类方法，其中该步骤1包括：

对于训练数据X_n＝[x₁，…，x_m]，x_i∈X，y_n∈Y，其中X为词典，Y为类别集合，[x₁，…，x_m]为词序列，m为输入文本长度，N为数据集规模，利用全连接网络获得词向量V＝f₁(X_n),其中P为文本特征空间的维度；通过对训练数据聚集得到类别的稠密向量表示C＝[c₁，…，c_K],其中K为类别的数量。