[发明专利]答案生成方法、装置、电子设备及可读存储介质

权利要求书

1.一种答案生成方法，其特征在于，所述方法包括：

建立计算机集群，从第一数据库中获取第一语料，控制所述计算机集群基于所述第一语料对初始问答模型执行第一分布式训练，得到第一问答模型；

从第二数据库中获取第二语料，控制所述计算机集群基于所述第二语料对所述第一问答模型执行第二分布式训练，得到第二问答模型；

解析用户基于客户端发出的答案生成请求，获取所述请求携带的目标问题，对所述目标问题执行分词及实体识别处理，得到实体识别结果，从第三数据库中获取与所述实体识别结果匹配的目标文本；

将所述目标文本及目标问题输入所述第二问答模型，得到所述目标文本中每个词语是所述目标问题的答案起始词汇的概率及答案终点词汇的概率，基于所述答案起始词汇的概率及答案终点词汇的概率确定所述目标问题对应的目标答案。

2.如权利要求1所述的答案生成方法，其特征在于，所述控制所述计算机集群基于所述第一语料对初始问答模型执行第一分布式训练，包括：

设置第一分布式训练的最大迭代轮次，对所述第一语料执行掩盖及标签化处理，得到携带标签的第三语料；

获取所述计算机集群中各个计算节点的硬件资源信息，基于所述硬件资源信息将所述第三语料拆分为多个子语料，将所述多个子语料分发给所述各个计算节点，以供所述各个计算节点基于所述子语料训练所述初始问答模型；

接收所述各个计算节点反馈的模型梯度，基于所述模型梯度更新所述初始问答模型的模型参数，将更新后的模型参数发送给所述各个计算节点，以供所述各个计算节点基于所述更新后的模型参数更新所述初始问答模型，并基于更新后的初始问答模型继续训练，当迭代到最大迭代轮数后，第一分布式训练结束。

3.如权利要求2所述的答案生成方法，其特征在于，所述基于所述模型梯度更新所述初始问答模型的模型参数，包括：

计算所述模型梯度的平均值，将所述平均值代入收敛参数计算公式计算得到所述初始问答模型的收敛参数，将所述平均值代入更新参数计算公式计算得到所述初始问答模型的更新参数；

将所述收敛参数及更新参数代入缩放率计算公式计算得到所述初始问答模型的缩放率，将所述初始问答模型的初始模型参数及初始学习率代入学习率计算公式计算得到所述初始问答模型的新学习率；

将所述初始模型参数、所述缩放率及所述新学习率代入模型参数计算公式计算得到所述初始问答模型的新模型参数。

4.如权利要求2所述的答案生成方法，其特征在于，所述对所述第一语料执行掩盖及标签化处理，得到携带标签的第三语料，包括：

从所述第一语料中抽取第一预设数量的第一文本，随机调整所述第一文本中句子的顺序，将调整后的文本作为第一样本，将所述第一文本中的句子顺序作为所述第一样本的标签，将携带标签的第一样本的集合作为第一样本集；

从所述第一语料中抽取第二预设数量的第二文本，随机将所述第二文本中第三预设数量的词语掩盖，将掩盖后的文本作为第二样本，将被掩盖的词语作为所述第二样本的标签，将携带标签的第二样本的集合作为第二样本集；

从所述第一语料中抽取第四预设数量的第三文本及第五预设数量的第四文本，随机将所述第四文本中第六预设数量的句子用从其他文本中抽取的句子替换，得到替换后的文本，将所述替换后的文本的标签设置为第一数值，将所述第三文本的标签设置为第二数值，将携带标签的替换后的文本及第三文本的集合作为第三样本集；

将所述第一样本集、所述第二样本集及所述第三样本集的集合作为所述第三语料。

5.如权利要求2所述的答案生成方法，其特征在于，所述将更新后的模型参数发送给各个计算节点，包括：

对所述更新后的模型参数执行量化和压缩处理，得到压缩后的模型参数；

计算所述压缩后的模型参数的标准信息摘要值；

从第四数据库中获取各个计算节点对应的公钥，采用所述公钥对所述压缩后的模型参数及标准信息摘要值进行加密，得到密文数据，将所述密文数据分发到对应的计算节点。