[发明专利]语句表示方法、表示模型训练方法及装置

权利要求书

1.一种语句表示方法，其特征在于，包括：

将待表示语句输入注意力机制中进行计算，得到所述待表示语句中的每个词对应的注意力特征；

将所述待表示语句中的每个词对应的注意力特征进行拼接，得到所述待表示语句的特征图；

将所述特征图输入卷积模型进行处理，得到所述待表示语句的表示结果。

2.如权利要求1所述的方法，其特征在于，所述将待表示语句输入注意力机制中进行计算，得到所述待表示语句中的每个词对应的注意力特征的步骤，包括：

将待表示语句输入注意力机制中进行计算，得到所述待表示语句中的每个词的设定数量的注意力特征，所述设定数量不小于二；

所述将所述待表示语句中的每个词对应的注意力特征进行拼接，得到所述待表示语句的特征图的步骤，包括：

将所述待表示语句中的每个词对应的设定数量的注意力特征进行拼接，得到所述待表示语句的设定数量的特征图。

3.如权利要求1所述的方法，其特征在于，所述将待表示语句输入注意力机制中进行计算，得到所述待表示语句中的每个词对应的注意力特征通过以下方式实现：

Attention(Q、K、V)＝softmax(QK^T)V；

其中，Q＝X·W^Q；

K＝X·W^K；

V＝X·W^V；

其中，X表示所述待表示语句中的一个词的词向量；W^Q、W^K、W^V表示三个权值矩阵；Attention表示注意力机制；softmax表示归一化指数函数；Q、K、V表示计算过程中的中间值。

4.如权利要求3所述的方法，其特征在于，所述注意力机制配置多组权值矩阵，所述将待表示语句输入注意力机制中进行计算，得到所述待表示语句中的每个词对应的注意力特征通过以下方式实现：

其中，

其中，表示所述待表示语句中的第b个词在第a组权值矩阵下计算得到的中间值；W_a^K、表示第a组中的三个权值矩阵；X_b表示所述待表示语句中的第b个词的词向量；表示所述待表示语句中的第b个词在第a组权值矩阵下计算得到的注意力特征；

所述将所述待表示语句中的每个词对应的注意力特征进行拼接，得到所述待表示语句的特征图通过以下方式实现：

将计算得到的进行拼接，得到第a组的三个权值矩阵对应计算得到的特征图，其中，N表示所述待表示语句中的词的数量。

5.如权利要求1-4任意一项所述的方法，其特征在于，所述将待表示语句输入注意力机制中进行计算，得到所述待表示语句中的每个词对应的注意力特征的步骤，包括：

将待表示语句输入自注意力机制中进行计算，得到所述待表示语句中的每个词对应的注意力特征。

6.如权利要求1所述的方法，其特征在于，所述卷积模型包括卷积模块和最大池化模块，所述将所述特征图输入卷积模型进行处理，得到所述待表示语句的表示结果的步骤，包括：

将所述特征图输入卷积模块进行卷积处理，得到卷积输出数据；

将所述卷积输出数据属于最大池化模块进行池化操作，得到表示结果。

7.如权利要求6所述的方法，其特征在于，所述将所述特征图输入卷积模块进行卷积处理，得到卷积输出数据的步骤，包括：

将所述特征图输入d×h的卷积神经网络进行卷积处理，得到卷积输出数据，所述d表示所述待表示语句中的词向量的维度；h表示一设定的数值。

8.如权利要求1所述的方法，其特征在于，在所述将所述特征图输入卷积模型进行处理，得到所述待表示语句的表示结果的步骤之后，所述方法还包括：

将所述表示结果输入分类器中将所述表示结果进行分类，得到所述待表示语句的分类结果；或者，

将所述表示结果使用翻译器进行语义翻译，得到所述待表示语句的翻译结果。