[发明专利]基于注意力的文本分类方法、装置及计算机可读介质

权利要求书

1.一种基于注意力的文本分类方法，其特征在于，包括采用下面的步骤建立分类模型：

步骤S11：获取待分类文本，所述待分类文本包括至少一个词语；

步骤S12：将所述待分类文本映射成词向量，将所述词向量作为卷积核筛选单元的输入数据，所述词向量的维度为C×H×W，其中，C为通道数，H为总高度，W为总宽度，C、H、W都为正整数；

步骤S13：初始化所述卷积核筛选单元的卷积核；

步骤S14：根据所述输入数据生成注意力向量，所述注意力向量表示各个通道的权重；

步骤S15：根据所述注意力向量对所述卷积核进行加权聚合，生成聚合卷积核；

步骤S16：使用所述聚合卷积核对所述输入数据进行卷积，获得卷积后的特征图向量；

步骤S17：将所述特征图向量作为所述输入数据，重复执行M次所述步骤S13-S16，M是大于1的正整数，将最后一次获得的所述特征图向量作为所述卷积核筛选单元的输出向量；以及

步骤S18：将所述输出向量作全连接后进行归一化处理，得到所述待分类文本的分类结果。

2.如权利要求1所述的文本分类方法，其特征在于，所述步骤S14包括：

步骤S21：根据所述输入数据生成所述输入数据的全局特征向量；以及

步骤S22：根据所述全局特征向量生成所述注意力向量。

3.如权利要求2所述的文本分类方法，其特征在于，所述步骤S21包括：对所述输入数据进行全局池化，获得所述全局特征向量。

4.如权利要求3所述的文本分类方法，其特征在于，采用全局平均池化对所述输入数据进行全局池化，所述全局平均池化的公式为：

其中，w表示所述输入数据，u表示所述全局特征向量，GAP表示全局平均池化函数，w(i,j)是所述输入数据中高度为i、宽度为j的词向量。

5.如权利要求2所述的文本分类方法，其特征在于，所述步骤S22包括：

步骤S31：将所述全局特征向量输入至第一全连接层中，获得第一隐藏层函数；

步骤S32：将所述第一隐藏层函数输入至第二全连接层中，获得所述注意力向量，所述注意力向量的大小为N*1，其中，N是所述卷积核的个数。

6.如权利要求5所述的文本分类方法，其特征在于，在所述步骤S31中，采用下面的公式获得所述第一隐藏层函数：

h₁＝FC(u)＝δ(W₁u+b₁)

其中，h1表示所述第一隐藏层函数，FC表示全连接函数，u表示所述全局特征向量，δ为ReLU激活函数，W₁为第一权重矩阵，b₁为第一偏置；

在所述步骤S32中，采用下面的公式获得所述注意力向量：

h₂＝FC(h₁)＝σ(W₂h₁+b₂)

其中，h₂表示所述注意力向量，σ为Sigmoid激活函数，W₂为第二权重矩阵，b₂为第二偏置。

7.如权利要求6所述的文本分类方法，其特征在于，所述步骤S15包括采用下面的公式根据所述注意力向量对所述卷积核进行加权聚合，生成聚合卷积核：

K_att＝h₂K

K＝{k₁,k₂,…k_N}

其中，K表示所述卷积核，其中包括N个卷积核k₁-k_N，K_att表示根据所述注意力向量h₂和卷积核K乘积获得的注意力卷积核，K_agg表示N个所述注意力卷积核相加所获得的所述聚合卷积核。