[发明专利]基于多语言的阅读理解任务识别方法及装置

说明书

本发明实施例提供一种基于多语言的阅读理解任务识别方法及装置，该方法包括：获取任一目标语言的阅读理解任务数据，编码得到上下文嵌入表达向量；将所述嵌入表达向量，输入预设的多语言阅读理解模型，根据多语言阅读理解模型的输出结果，确定阅读理解任务的答案；其中，所述多语言阅读理解模型，以源语言任务数据分别和每一目标语言任务数据的关联语义信息矩阵，进行融合后得到的特征向量作为输入，以源语言任务数据的答案作为标签，进行训练后得到。该方法能够同时支持迁移多语言和多任务数据集中的知识到目标语言中，实现目标语言无数据、少数据条件下的抽取式阅读理解任务，可以提高目标语言少数据以及富数据的抽取式阅读理解任务的准确度。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种基于多语言的阅读理解任务识别方法及装置。

背景技术

阅读理解是评估和测试计算机系统理解人类语言能力而提出的一个问答研究任务，通过给计算机系统提供相关文本以及一系列相关的问题，要求计算机系统阅读理解文本从而回答这些问题。由于该任务是用来衡量计算机自然语言理解能力，因此具有重大的研究价值。同时，阅读理解技术可以广泛用于搜索引擎、开放域问答、知识图谱构建以及对话系统等领域，具备极强的实用价值。

由于大规模高质量人类标注训练集的存在，基于深度学习的自然语言处理方法的快速发展，如注意力机制、Transformer架构以及图神经网络等，以及一系列预训练语言模型的提出，使阅读理解任务取得了巨大的成功，近年来成为NLP领域非常热门的研究方向，特别是抽取式阅读理解问答任务。抽取式问答旨在通过阅读给定文本和问题，要求计算机系统从文本中抽取连续的文本片段作为答案，具有极大的研究价值和使用价值。

尽管抽取式阅读理解取得了巨大的进步，但是大规模高质量抽取式阅读理解数据集在除英语外的语言中非常缺乏，即使中文数据集也非常稀少，同时为每种语言构建足够数量的高质量训练集成本非常昂贵，甚至是不可能的，导致训练其它语言抽取式阅读理解系统面临着巨大的困难。

发明内容

本发明实施例提供一种基于多语言的阅读理解任务识别方法及装置，用以解决现有技术中的缺陷。

本发明实施例提供一种基于多语言的阅读理解任务识别方法，包括：获取任一目标语言的阅读理解任务数据，编码得到上下文嵌入表达向量；将所述嵌入表达向量，输入预设的多语言阅读理解模型，根据所述多语言阅读理解模型的输出结果，确定阅读理解任务的答案；其中，所述多语言阅读理解模型，以源语言任务数据分别和每一目标语言任务数据的关联语义信息矩阵，进行融合后得到的特征向量作为输入，以源语言任务数据的答案作为标签，进行训练后得到；所述关联语义信息矩阵，根据源语言和目标语言任务数据之间的自适应注意力矩阵得到，所述源语言任务数据为有结果标签的训练集数据。

根据本发明一个实施例的基于多语言的阅读理解任务识别方法，所述获取任一目标语言的阅读理解任务数据之前，还包括：将源语言的任务数据，翻译为多种目标语言，得到目标语言的任务数据；将源和目标语言的任务数据，分别进行编码，得到各语言的上下文嵌入表达向量；根据源语言表达向量与每一目标语言表达向量之间的自适应注意力矩阵，得到每一目标语言相对源语言嵌入表达向量的关联语义信息矩阵；以每一目标语言相对源语言的关联语义信息矩阵，进行融合后作为输入，以对应的源语言训练集数据的答案作为标签，对构建的多语言阅读理解模型进行训练。

根据本发明一个实施例的基于多语言的阅读理解任务识别方法，所述对构建的多语言阅读理解模型进行训练，包括：将所有关联语义信息矩阵融合后，输入多语言阅读理解模型的全连接层、经归一化层和残差层后，得到多语言融合表示矩阵；根据多语言融合表示矩阵、起始位置偏置参数、起始位置的权重矩阵、结束位置偏置参数和结束位置的权值矩阵，得到目标答案片段的起始位置和结束位置的概率分布；根据起始位置与结束位置概率乘积最大的起始位置和结束位置，以及源语言训练集数据中答案的起始位置和结束位置标签，计算损失熵并进行网络参数更新。