[发明专利]一种基于类别稠密向量表示的通用文本分类方法及系统

权利要求书

1.一种基于类别稠密向量表示的通用文本分类方法，其特征在于，包括：

步骤1、获取包括以标记类别文本的训练数据，使用全连接网络处理该训练数据，得到各类别的类别稠密向量；

步骤2、将待分类文本输入至深度神经网络，得到该待分类文本中每个词的词稠密向量，并将每个词的词稠密向量相加，和/或最大值池化，和/或经短期记忆网络处理后得到该待分类文本的文本稠密向量；

步骤3、将该文本稠密向量和所有该类别稠密向量输入至匹配度测量模型，得到该待分类文本属于各类别的概率分布，将该待分类文本与该概率分布中概率最大的类别相匹配，作为该待分类文本的分类结果；

其中该步骤1包括：

对于训练数据X_n＝[x₁,…,x_m],x_i∈X,y_n∈Y，其中X为词典，Y为类别集合，[x₁,…,x_m]为词序列，m为输入文本长度，N为数据集规模，利用全连接网络获得词向量V＝f₁(X_n),其中P为文本特征空间的维度；通过对训练数据聚集得到类别的稠密向量表示C＝[c₁,…,c_K],其中K为类别的数量；

步骤3中该匹配度测量模型，用于通过下式得到各类该类别稠密向量和该文本稠密向量的匹配特征，得到该匹配特征的过程具体包括：通过下式得到该类别稠密向和该文本稠密向量中每个词的余弦相似度、双向线性和元素乘；

M_bi-linear＝CW_bi-linearV^T,

之后通过下式将相似度结果拼接，得到类别表示和每个词的匹配特征M，再通过深度神经网络得到各类别和整个待分类文本的匹配特征M_{matching_feature}，其中Q为匹配特征的维度：

M＝concat(expand(M_cos),expand(M_bi-linear),M_{ponitwise-multi})

根据下式通过全连接层得到输入文本和每个类别之间的匹配得分score，再经过softmax层得到输入文本属于每个类别的概率分布其中⊙表示矩阵的对应列分别求内积；

2.如权利要求1所述的基于类别稠密向量表示的通用文本分类方法，其特征在于，该步骤1包括：在生成类别稠密向量时，对该训练数据中所有属于同一类别的文本中的词向量表示取平均值，作为初始化的类别稠密向量。