[发明专利]基于三维特征表示的智能文本阅读理解方法和装置

权利要求书

1.一种基于三维特征表示的智能文本阅读理解方法，其特征在于，该方法包括如下步骤：

S1、获取智能文本阅读理解数据集：从网络上下载已经公开的智能文本阅读理解数据集或者自行构建数据集；

S2、构建智能文本阅读理解模型：基于三维特征表示构建智能文本阅读理解模型；

S3、训练智能文本阅读理解模型：在步骤S1所得到智能文本阅读理解训练数据集上对步骤S2构建的智能文本阅读理解模型进行训练。

2.根据权利要求1所述的基于三维特征表示的智能文本阅读理解方法，其特征在于，所述步骤S2中构建智能文本阅读理解模型的具体步骤如下：

S201、构建输入模块

针对数据集中的每一条数据，将文章序列，记为context；将问句序列，记为query；将所有候选选项记为response；根据正确答案，确定该条数据的标签，即，若正确答案为A，则记为1000，若正确答案为B，则记为0100，若正确答案为C，则记为0010，若正确答案为D，则记为0001；三个文本序列与标签，共同组成一条输入数据；

S202、构建预训练嵌入表示模块

预训练嵌入表示模块是利用预训练语言模型对S201中构建的输入数据进行嵌入编码操作，从而得到输入数据中的文章、问句和选项的嵌入表示，分别记为和S201中构建的输入包含三个文本序列，其中，文章序列单独使用一个编码模块，问句、选项序列共用一个编码模块；由于预训练语言模型本身包含多层编码网络，可根据不同的输入对象，选择不同层数的输出作为其嵌入表示；具体实施见下述公式：

其中，公式(1.1)表示使用预训练语言模型BERT对输入的文章序列context进行嵌入编码，下标n表示使用的BERT内部的网络层数，表示文章的嵌入表示；公式(1.2)表示使用预训练语言模型BERT对输入的问句序列query进行嵌入编码，下标t表示使用的BERT内部的网络层数，表示问句的嵌入表示；公式(1.3)同公式(1.2)基本一致，只是编码对象为选项response，表示选项的嵌入表示；

S203、构建特征过滤模块

使用自适应平均池化操作对文章、问句和选项的嵌入表示和进行特征过滤操作，得到相应的池化特征表示，即文章池化特征表示、问句池化特征表示和选项池化特征表示，分别记为和

S204、构建3D CNN交互特征模块

接收特征过滤模块输出的文章池化特征表示问句池化特征表示和选项池化特征表示然后使用两种交互特征构造方法实现文章、问句和选项三者间的交互特征构造，从而得到两种三维特征表示和最后经过3DCNN结构的处理，得到最终的3D交互特征表示

S205、构建标签预测模块

步骤S204所得到的最终的3D交互特征表示将作为本模块的输入，其经过一层维度为4、激活函数为softmax的全连接网络处理，从而得到各个候选选项作为正确答案的概率，本模块将概率最高的候选选项预测为正确答案；

当模型尚未进行训练时，需要进一步执行步骤S3进行训练，以优化模型参数；当模型训练完毕时，由步骤S205预测选项中的哪一个是正确答案。