[发明专利]语义理解模型训练方法、装置、计算机设备和存储介质

权利要求书

1.一种语义理解模型训练方法，其特征在于，包括：

从训练集中，获取训练文本对应的总词序列，其中，所述总词序列内包括依序排列的多个词向量；

从所述总词序列中，随机选取预设个数的连续词向量用掩码序列替代，得到输入词序列，并将所述预设个数的连续词向量作为测试输出词序列；

将所述输入词序列输入至预设的编码器-注意力-解码器模型中进行训练，得到预测输出词序列，其中，所述预测输出词序列为所述编码器-注意力-解码器模型对所述输入词序列中的所述掩码序列的预测结果；

根据所述预测输出词序列与所述测试输出词序列之间的差异，采用预设优化器对所述编码器-注意力-解码器模型的模型参数进行调整，以减小所述差异；

返回所述将所述输入词序列输入至编码器-注意力-解码器模型中进行训练，得到预测输出词序列的步骤继续训练，直至满足预设训练停止条件，则停止训练，得到所述语义理解模型。

2.如权利要求1所述的语义理解模型训练方法，其特征在于，所述掩码序列内包括至少一个掩码向量，所述编码器-注意力-解码器模型包括编码器和解码器；所述将所述输入词序列输入至预设的编码器-注意力-解码器模型中进行训练，得到预测输出词序列的步骤，包括：

将所述输入词序列输入至所述编码器中，对所述输入词序列进行语义编码，得到中间语义向量序列；其中，所述中间语义向量序列包括各个所述掩码向量所对应的中间语义向量；

通过所述解码器，根据所述中间语义向量序列，以及所述输入词序列，生成所述预测输出词序列；其中，所述预测输出词序列包括各个所述掩码向量所对应的预测输出词。

3.如权利要求2所述的语义理解模型训练方法，其特征在于，所述编码器包括多层神经网络，所述多层神经网络包括输入层、中间隐藏层和输出层，所述中间隐藏层的数量包括多层，所述将所述输入词序列输入至所述编码器中，对所述输入词序列进行语义编码，得到中间语义向量序列的步骤，包括：

将所述输入词序列通过所述编码器的输入层，输入至所述编码器的第一层中间隐藏层；

在所述编码器的各层中间隐藏层中，根据注意力机制，逐层对上一层神经网络所输入的输入词序列进行语义编码，分别得到各层中间隐藏层所输出的隐藏层语义向量，直至得到最后一层中间隐藏层所输出的隐藏层语义向量；

将最后一层所述中间隐藏层所输出的隐藏层语义向量作为所述中间语义向量序列，通过所述编码器的输出层输出至所述解码器。

4.如权利要求3所述的语义理解模型训练方法，其特征在于，所述在所述编码器的各层中间隐藏层中，根据注意力机制，逐层对上一层神经网络所输入的输入词序列进行语义编码，分别得到各层中间隐藏层所输出的隐藏层语义向量的步骤，包括：

在当前层所述中间隐藏层中，分别获取前一层神经网络所输入的输入词序列中的各个词向量对各个所述掩码向量的注意力权值；

根据各个所述注意力权值，对各个所述词向量进行加权求和，分别得到各个所述掩码向量对应的注意力向量；

拼接当前层所述中间隐藏层中，各个所述掩码向量对应的注意力向量，得到当前层所述中间隐藏层所输出的隐藏层语义向量。

5.如权利要求1所述的语义理解模型训练方法，其特征在于，所述从训练集中，获取训练文本对应的总词序列的步骤，包括：

从所述训练集中，获取训练文本；

将所述训练文本按照预设词分割方式，分割为多个词片段；

将各个所述词片段分别转化为各个词向量；

根据依序排列的各个所述词向量，构造所述训练文本对应的所述总词序列。

6.如权利要求5所述的语义理解模型训练方法，其特征在于，所述从所述总词序列中，随机选取预设个数的连续词向量用掩码序列替代，得到输入词序列，并将所述预设个数的连续词向量作为测试输出词序列的步骤，包括：

从所述总词序列中，随机选取一个所述词向量作为起点；

从所述起点开始，将所述预设个数的连续词向量用所述预设个数的对应的掩码向量来替代，所述预设个数的掩码向量组成所述掩码序列；

将用掩码序列替代之后的所述总词序列作为所述输入词序列，并将所述预设个数的连续词向量作为所述测试输出词序列。