[发明专利]文本关系抽取模型的训练方法、装置以及计算机设备

权利要求书

1.一种文本关系抽取模型的训练方法，其特征在于，包括：

获取训练文本以及所述训练文本对应的词汇关系表格；

按照预设的向量化方式对所述训练文本中的各个词进行向量化，得到各个词对应的词向量；

将所有的所述词向量通过输入通道输入迭代通道中进行迭代交叉训练，得到语法输出结果和情感输出结果；其中，所述迭代通道中语法线程和情感线程的训练层一一交替，所述迭代通道内的当前训练层的输出作为其后两层训练层的输入，第一训练层和第二训练层为直接输入所述训练文本进行计算，倒数第二层的输出作为倒数第一层的输入，所述倒数第一层和所述倒数第二层的输出结果分别为所述语法输出结果，以及所述情感输出结果，所述当前训练层不包括所述倒数第一层和所述倒数第二层；

根据所述词汇关系表格、所述语法输出结果，以及所述情感输出结果，调整所述语法线程和情感线程中的参数，反复在所述迭代通道内进行迭代交叉训练，直至所述迭代交叉训练的损失值小于预设损失值，以得到所述文本关系抽取模型，包括：根据所述词汇关系表格、所述语法输出结果，以及所述情感输出结果计算第一任务完成后的，所述语法线程的第一损失值，和所述情感线程第二损失值；所述第一任务为一次所述迭代交叉训练的任务；判断所述第一任务的第一损失值和所述第二损失值是否均小于预设损失值；若否，则根据所述词汇关系表格、所述语法输出结果，以及所述情感输出结果，调整所述语法线程和情感线程中的参数；根据第一参数和第二参数开启第二任务，所述第一参数为执行所述第一任务后所述语法线程的参数，所述第二参数为执行所述第一任务后所述情感线程的参数，并计算所述第二任务对应的第一损失值和第二损失值；所述第二任务为又一次所述迭代交叉训练的任务；判断所述第二任务的第一损失值和第二损失值是否均小于所述预设损失值；若是，则得到所述文本关系抽取模型。

2.如权利要求1所述的文本关系抽取模型的训练方法，其特征在于，所述按照预设的向量化方式对所述训练文本中的各个词进行向量化，得到各个词对应的词向量的步骤中，第一词汇的向量化的步骤包括：

基于lstm的char编码、lstm的word编码以及bert的char编码分别对所述第一词汇进行编码，对应得到第一编码、第二编码和第三编码；其中，所述第一词汇为所述训练文本中的任意一个词汇；

将所述第一编码、所述第二编码和所述第三编码按照顺序拼接，得到所述第一词汇对应的词向量。

3.如权利要求1所述的文本关系抽取模型的训练方法，其特征在于，所述将所有的所述词向量通过输入通道输入迭代通道中进行迭代交叉训练，得到语法输出结果和情感输出结果的步骤中，在所述情感线程的训练中非第一层和第二层的训练步骤包括：

获取上一层训练层中所述语法线程的第一输出结果，以及获取上两层的第二输出结果；

根据公式S_l＝LayerNorm(S_l-1+TableGuideAttn(S_l-1))进行迭代交叉训练，其中，S_l-1表示所述第二输出结果，TableGuideAttn表示所述第一输出结果，S_l表示当前训练层的输出结果，LayerNorm表示进行归一化处理。

4.如权利要求1所述的文本关系抽取模型的训练方法，其特征在于，所述将所有的所述词向量通过输入通道输入迭代通道中进行迭代交叉训练，得到语法输出结果和情感输出结果的步骤中，在所述语法线程的训练中非第一层和第二层的训练步骤包括：

获取上一步训练层中所述情感线程的第三输出结果，以及获取上两步的第四输出结果；

根据公式T_m,i,j＝GRU(X_m,i,j,T_m-1,i,j,T_m,i-1,j,T_m,i,j-1)进行迭代交叉训练，其中X_m,i,j＝ReLU(Linear([S_m-1,i；S_m-1,j]))，其中，T_m,i,j表示第m层对第i个字和第j个字的交互。