[发明专利]模型训练及调用方法、装置、计算机设备、存储介质

权利要求书

1.一种神经网络模型训练方法，其特征在于，所述神经网络模型训练方法包括：

获取文本训练集，所述文本训练集包括多组第一文本和第二文本，所述第一文本中包含问题，所述第二文本中包含所述第一文本中的问题对应的答案；

生成所述第一文本对应的第一虚拟嵌入矩阵、所述第二文本对应的第二虚拟嵌入矩阵，以及初始化局部干扰；

通过所述第一虚拟嵌入矩阵得到所述第一文本对应的第一干扰，以及通过所述第二虚拟嵌入矩阵得到所述第二文本对应的第二干扰；

基于所述第一干扰、所述第二干扰和所述局部干扰，生成对抗样本；

对所述第一虚拟嵌入矩阵、所述第二虚拟嵌入矩阵和所述局部干扰进行更新，并基于更新后的所述第一虚拟嵌入矩阵、所述第二虚拟嵌入矩阵和所述局部干扰，返回执行所述通过所述第一虚拟嵌入矩阵得到所述第一文本对应的第一干扰，以及通过所述第二虚拟嵌入矩阵得到所述第二文本对应的第二干扰的步骤，直至对所述第一虚拟嵌入矩阵、所述第二虚拟嵌入矩阵和所述局部干扰进行更新的次数达到次数阈值，以获得多个对抗样本；

根据多个所述对抗样本对神经网络模型进行迭代训练，更新所述神经网络模型的参数，获得训练好的所述神经网络模型。

2.根据权利要求1所述的神经网络模型训练方法，其特征在于，所述生成所述第一文本对应的第一虚拟嵌入矩阵、所述第二文本对应的第二虚拟嵌入矩阵，包括：

采用高斯分布分别对所述第一文本对应的向量矩阵和所述第二文本对应的向量矩阵进行初始化，获得第一初始化嵌入矩阵和第二初始化嵌入矩阵；

分别对所述第一初始化嵌入矩阵和所述第二初始化嵌入矩阵进行零均值归一化处理，获得所述第一虚拟嵌入矩阵和所述第二虚拟嵌入矩阵。

3.根据权利要求2所述的神经网络模型训练方法，其特征在于，所述初始化局部干扰，包括：

根据所述第一初始化嵌入矩阵和所述第二初始化嵌入矩阵的均方差，确定均方差对应的均匀分布；

对所述第一初始化嵌入矩阵和所述第二初始化嵌入矩阵的维度开平方后求倒数，获得均匀分布调整系数，

将所述均匀分布乘以所述调整系数，获得所述局部干扰。

4.根据权利要求1所述的神经网络模型训练方法，其特征在于，所述基于所述第一干扰、所述第二干扰和所述局部干扰，生成对抗样本，包括：

将所述第一文本和所述第二文本输入所述神经网络模型的嵌入层，得到所述第一文本对应的第一字向量和所述第二文本对应的第二字向量；

将所述第一字向量添加所述第一干扰得到第一对抗字向量，将所述第二字向量添加所述第二干扰得到第二对抗字向量，并将所述第一对抗字向量与所述第二对抗字向量汇总，得到第三字向量；

将所述第三字向量添加所述局部干扰，得到所述对抗样本。

5.根据权利要求1所述的神经网络模型训练方法，其特征在于，所述对所述第一虚拟嵌入矩阵、所述第二虚拟嵌入矩阵和所述局部干扰进行更新，包括：

确定所述第一虚拟嵌入矩阵对应的第一梯度、所述第二虚拟嵌入矩阵对应的第二梯度、以及所述局部干扰对应的第三梯度；

分别对所述第一梯度、所述第二梯度和所述第三梯度进行标准化处理，获得对应的第一标准梯度、第二标准梯度和第三标准梯度；

基于所述第一标准梯度对所述第一虚拟嵌入矩阵进行后向传播计算，获得更新的第一虚拟嵌入矩阵；

基于所述第二标准梯度对所述第二虚拟嵌入矩阵进行后向传播计算，获得更新的第二虚拟嵌入矩阵；

基于所述第三标准梯度对所述局部干扰进行后向传播计算，获得更新的局部干扰。

6.一种神经网络模型调用方法，其特征在于，所述神经网络模型为采用如权利要求1至5中任一项所述的神经网络模型训练方法训练得到的神经网络模型，所述神经网络模型调用方法包括：

获取机器阅读理解任务对应的目标文本；

将所述目标文本输入所述神经网络模型，输出所述目标文本中包含的问题对应的答案。