[发明专利]一种基于Unilm优化语言模型的中文问题生成方法

权利要求书

1.一种基于Unilm优化语言模型的中文问题生成方法，其特征在于，具体包括如下步骤：

步骤1，使用从网络爬取的目标领域的语料对bert模型进行预训练，获得参数，并将所述参数同步迁移至Unilm语言模型；

步骤2，使用回忆机制和随机替换实体词机制对中文问答数据做数据增强处理，得到增强数据文本，将增强数据文本分为训练集和测试集；

步骤3，构建包含相对位置遮盖矩阵的编码器层

将中文语料切分成字和词，并根据这些字和词在中文语料中的位置，将字和词的头索引和尾索引分别生成头信息向量以及尾信息向量，设定字的头索引和尾索引相等；在头信息向量中词的尾索引设置为0，在尾信息向量中词的头索引设置为0，将头信息向量和尾信息向量彼此相减，生成四组位置矩阵；将四组位置矩阵拼接后输入全连接神经网络生成相对位置遮盖嵌入矩阵，将相对位置遮盖嵌入矩阵与编码器自注意力矩阵相加得到优化的Transformer编码器层；

步骤4，将步骤3融入了相对位置遮盖嵌入矩阵的Transformer编码器层替换Unilm语言模型中的最后一个编码器层，形成优化后unilm语言模型；

步骤5，构建包含copy机制的特殊解码器层，并替换在步骤4优化后的unilm语言模型的解码器层；将步骤2得到的训练集输入优化后unilm语言模型进行训练，获得问题生成模型；

步骤6：将步骤2得到的测试集输入问题生成模型，得到最终问题生成结果。

2.根据权利要求1所述的一种基于Unilm优化语言模型的中文问题生成方法，其特征在于，步骤1对所述bert模型采用双向遮盖机制和下半句预测机制两个任务进行训练。

3.根据权利要求1所述的一种基于Unilm优化语言模型的中文问题生成方法，其特征在于，步骤2具体如下：

所述回忆机制是使用机器翻译将中文数据翻译成其他语言，再将其回译回中文数据；经过两次翻译后数据得到增强；

所述随机替换实体词机制是使用实体词替换的方法，首先对中文问答数据做命名实体识别并进行同义词替换；

将两种数据增强方法获得的增强文本数据分为训练集和测试集。

4.根据权利要求1所述的一种基于Unilm优化语言模型的中文问题生成方法，其特征在于，步骤3中具体的拼接方法为：

其中，表示张量的拼接操作，分别表示头信息向量的转置减头信息向量，头信息向量转置减尾信息向量，尾信息向量转置减头信息向量，尾信息向量转置减尾信息向量；

将R_i，j输入输入全连接神经网络生成相对位置遮盖嵌入矩阵将与Transformer中自注意力矩阵相加得到融入了相对位置遮盖嵌入矩阵的Transformer编码器层。

5.根据权利要求1所述的一种基于Unilm优化语言模型的中文问题生成方法，其特征在于，步骤4具体为：

将所述Transformer编码器层替换Unilm语言模型的最后的一个编码器层，同时将Unilm语言模型最后一层的参数初始化为步骤1预训练后的参数。

6.根据权利要求1所述的一种基于Unilm优化语言模型的中文问题生成方法，其特征在于，所述步骤5具体步骤为：

根据优化后Unilm语言模型的词嵌入层和最后一个编码器层的输出计算解码生成概率p_gen，解码器解码后作为问题生成模型的输出，

ouput＝decoder((1-p_gen)*h_emb*w_cp+p_gen*h_de)

其中，ouput表示问题生成模型的输出，decoder表示对括号中的内容进行解码；h_emb为词嵌入层输出，h_de为最后一个编码器层的输入，w_cp表示解码器中的权重矩阵。