[发明专利]基于多语言的阅读理解任务识别方法及装置

权利要求书

1.一种基于多语言的阅读理解任务识别方法，其特征在于，包括：

获取任一目标语言的阅读理解任务数据，编码得到上下文嵌入表达向量；

将所述嵌入表达向量，输入预设的多语言阅读理解模型，根据所述多语言阅读理解模型的输出结果，确定阅读理解任务的答案；

其中，所述多语言阅读理解模型，以源语言任务数据分别和每一目标语言任务数据的关联语义信息矩阵，进行融合后得到的特征向量作为输入，以源语言任务数据的答案作为标签，进行训练后得到；所述关联语义信息矩阵，根据源语言和目标语言任务数据之间的自适应注意力矩阵得到，所述源语言任务数据为有结果标签的训练集数据；

所述获取任一目标语言的阅读理解任务数据之前，还包括：

将源语言的任务数据，翻译为多种目标语言，得到目标语言的任务数据；

将源和目标语言的任务数据，分别进行编码，得到各语言的上下文嵌入表达向量；

根据源语言表达向量与每一目标语言表达向量之间的自适应注意力矩阵，得到每一目标语言相对源语言嵌入表达向量的关联语义信息矩阵；

以每一目标语言相对源语言的关联语义信息矩阵，进行融合后作为输入，以对应的源语言训练集数据的答案作为标签，对构建的多语言阅读理解模型进行训练；

所述根据源语言表达向量与每一目标语言表达向量之间的自适应注意力矩阵，得到每一目标语言相对源语言嵌入表达向量的关联语义信息矩阵之前，还包括：

根据源语言表达向量的注意力矩阵和目标语言表达向量的注意力矩阵，以及源语言表达向量和目标语言表达向量之间的注意力矩阵，确定源语言和目标语言之间的自适应注意力矩阵，包括：

其中，B_Pivot为源语言表达向量，B_Select为目标语言表达向量，A_P为源语言表达向量的注意力矩阵，A_S为目标语言表达向量的注意力矩阵，A_PS为源语言表达向量和目标语言表达向量之间的注意力矩阵，为源语言和目标语言之间的自适应注意力矩阵，L_P、L_S分别为源语言任务数据和目标语言任务数据的维度，softmax表示归一化。

2.根据权利要求1所述的基于多语言的阅读理解任务识别方法，其特征在于，所述对构建的多语言阅读理解模型进行训练，包括：

将所有关联语义信息矩阵融合后，输入多语言阅读理解模型的全连接层、归一化层和残差层后，得到多语言融合表示矩阵；

根据多语言融合表示矩阵、起始位置偏置参数、起始位置的权重矩阵、结束位置偏置参数和结束位置的权值矩阵，得到目标答案片段的起始位置和结束位置的概率分布；

根据起始位置与结束位置概率乘积最大的起始位置和结束位置，以及源语言训练集数据中答案的起始位置和结束位置标签，计算损失熵并进行网络参数更新。

3.根据权利要求1所述的基于多语言的阅读理解任务识别方法，其特征在于，所述根据源语言表达向量与每一目标语言表达向量的自适应注意力矩阵，得到每一目标语言相对源语言嵌入表达向量的关联语义信息矩阵，包括：

其中，R'_PS为关联语义信息矩阵，B_S为目标语言表达向量，为源语言和目标语言之间的自适应注意力矩阵，h为单个词的表示维度。

4.根据权利要求1所述的基于多语言的阅读理解任务识别方法，其特征在于，若有带有结果标签的任一目标语言的训练集数据，则获取任一目标语言的阅读理解任务数据，编码得到上下文嵌入表达向量之前，还包括：

将相应目标语言的训练集数据中的任务数据，进行编码得到的任务数据的上下文嵌入表达向量作为模型输入，将目标语言的训练集数据中对应的答案作为标签，对所述多语言阅读理解模型进行训练。