[发明专利]基于注意力的文本分类方法、装置及计算机可读介质

说明书

本申请涉及一种基于注意力的文本分类方法及装置，该方法包括：S11获取待分类文本；S12将待分类文本映射成词向量，将词向量作为卷积核筛选单元的输入数据；S13初始化卷积核筛选单元的卷积核；S14根据输入数据生成注意力向量，注意力向量表示各个通道的权重；S15根据注意力向量对卷积核进行加权聚合，生成聚合卷积核；S16使用聚合卷积核对输入数据进行卷积，获得卷积后的特征图向量；S17将特征图向量作为输入数据，重复执行M次步骤S13‑S16，将最后一次获得的特征图向量作为卷积核筛选单元的输出向量；S18将输出向量作全连接后进行归一化处理，得到待分类文本的分类结果。本申请将卷积计算由多次减少为一次，减少了卷积后的特征图数量，降低了计算复杂度。

技术领域

本申请主要涉及计算机技术领域，具体地涉及一种基于注意力的文本分类方法、装置及计算机可读介质。

背景技术

在车载语音对话中，车机的语音系统需要根据用户的语音来识别用户的意图。例如，说“播放爱我中华”，该句子对应的分类是“音乐”，所要执行的动作是“播放”，所要播放的内容是歌曲“爱我中华”；说“导航到全聚德”，该句子对应的分类是“地图导航”，所要执行的动作是“导航”，所要到达的终点是“全聚德”等。当人听到这些句子时，可以根据已有的知识很快得知该句子的含义。但是对于机器来说，其本身并不具备这些知识，想要从一句语句中获得用户的意图，需要通过大量的数据进行训练和学习，才能获得正确的分类结果或识别结果。目前，在车载语音对话的识别中，可以采用卷积神经网络模型来进行文本分类，以获知用户的意图，并执行相应的命令。

目前卷积神经网络的主流方式为将获得的文本向量化表示，然后通过卷积计算的方式提取出输入文本的特征图，最终将特征图输入全连接网络来建立特征图与类别之间的关系映射。为了提高分类的准确性，往往会采取增加多个不同的静态卷积核进行计算。这导致了在每一次采用了此设计的卷积神经网络进行分类时往往要进行上百次的卷积运算，同时，大量的卷积运算会产生大量的特征图，继而导致后续建立映射的全连接网络计算量巨大，消耗大量的算力与时间。

申请内容

本申请所要解决的技术问题是提供一种基于注意力的文本分类方法、装置及存储介质，解决多个卷积核卷积后导致大量冗余特征图的问题。

本申请提供一种基于注意力的文本分类方法，方法包括采用下面的步骤建立分类模型：

步骤S11：获取待分类文本，待分类文本包括至少一个词语；

步骤S12：将待分类文本映射成词向量，将词向量作为卷积核筛选单元的输入数据，词向量的维度为C×H×W，其中，C为通道数，H为总高度，W为总宽度，C、H、W都为正整数；

步骤S13：初始化卷积核筛选单元的卷积核；

步骤S14：根据输入数据生成注意力向量，注意力向量表示各个通道的权重；

步骤S15：根据注意力向量对卷积核进行加权聚合，生成聚合卷积核；

步骤S16：使用聚合卷积核对输入数据进行卷积，获得卷积后的特征图向量；

步骤S17：将特征图向量作为输入数据，重复执行M次步骤S13-S16，M是大于1的正整数，将最后一次获得的特征图向量作为卷积核筛选单元的输出向量；

步骤S18：将输出向量作全连接后进行归一化处理，得到待分类文本的分类结果。

在本申请的一实施例中，步骤S14包括：

步骤S21：根据输入数据生成输入数据的全局特征向量；以及

步骤S22：根据全局特征向量生成注意力向量。

在本申请的一实施例中，步骤S21包括：对输入数据进行全局池化，获得全局特征向量。