[发明专利]深度学习神经网络及训练、预测方法、系统、设备、介质

权利要求书

1.一种深度学习神经网络的训练方法，其特征在于，包括：

获得包含词汇的训练用问题文本及答案文本；

将所述词汇向量化，以由所述问题文本得到问题文本序列，由所述答案文本得到答案文本序列，并将所述问题文本序列与所述答案文本序列进行拼接，得到组合文本序列；

利用所述组合文本序列、所述问题文本序列、所述答案文本序列以及包含所述词汇的词字典空间，对用于从所述问题文本预测得到结果文本的深度学习神经网络进行训练，其中，所述深度学习神经网络对所述组合文本序列进行处理，得到与包含于所述问题文本及所述答案文本中的第一词汇相对应的第一词汇向量，对所述问题文本序列依次进行编码及解码，得到与包含于所述词字典空间中且不同于所述第一词汇的第二词汇相对应的第二词汇向量，所述第一词汇与所述第二词汇用于构成所述结果文本，并且，依据所述第一词汇向量与所述第二词汇向量的概率分布，输出包含所述第一词汇向量及所述第二词汇向量的、与所述结果文本对应的结果文本序列。

2.如权利要求1所述的训练方法，其特征在于，所述深度学习神经网络包含：第一子神经网络、第二子神经网络及第三子神经网络，

所述第一子神经网络为：用于对所述组合文本序列进行处理，得到所述第一词汇向量的卷积神经网络，

所述第二子神经网络为：用于对所述问题文本序列依次进行编码及解码，得到所述第二词汇向量的序列到序列模型；

所述第三子神经网络为：用于基于图结构，对所述问题文本序列及所述答案文本序列进行处理，得到与包含于所述问题文本及所述答案文本中的第三词汇相对应的第三词汇向量的图卷积自编码神经网络。

3.如权利要求2所述的训练方法，其特征在于，所述序列到序列模型基于注意力机制。

4.如权利要求2所述的训练方法，其特征在于，所述序列到序列模型包含：编码器及解码器，所述编码器采用双向门控网络模型，所述解码器采用单向门控网络模型。

5.一种答案的预测方法，其特征在于，包括：

获得包含词汇的预测用问题文本；

将所述词汇向量化，以由所述问题文本得到问题文本序列；

采用图卷积自编码技术，对所述问题文本序列进行处理，得到与包含于所述问题文本中的第三词汇相对应的第三词汇向量，所述第三词汇用于构成结果文本；

将所述第三词汇向量与所述问题文本序列进行拼接，得到组合文本序列；

将所述组合文本序列、所述问题文本序列输入如权利要求1至4任一项所述训练方法训练所得深度学习神经网络，得到对应的结果文本序列；

由所述结果文本序列得到结果文本。

6.如权利要求5所述的预测方法，其特征在于，采用图卷积自编码技术，对所述问题文本序列进行处理，得到与包含于所述问题文本中的第三词汇相对应的第三词汇向量，具体包括：

基于已构建的图结构，以所述问题文本序列中的所述词汇向量作为所述图结构中的节点，并以所述问题文本序列中的所述词汇向量之间的关系作为所述图结构中所述节点之间的边。

7.一种深度学习神经网络，其特征在于，所述深度学习神经网络经由如权利要求1至4任一项所述训练方法训练所得。

8.一种问答系统，其特征在于，包括：

初始化模块，用于获得包含词汇的预测用问题文本；将所述词汇向量化，以由所述问题文本得到问题文本序列；

图卷积自编码模块，用于采用图卷积自编码技术，对所述问题文本序列进行处理，得到与包含于所述问题文本中的第三词汇相对应的第三词汇向量，所述第三词汇用于构成结果文本，将所述第三词汇向量与所述问题文本序列进行拼接，得到组合文本序列；

预测模块，用于将所述组合文本序列、所述问题文本序列输入如权利要求1至4任一项所述训练方法训练所得深度学习神经网络，得到对应的结果文本序列；以及，

转换模块，用于由所述结果文本序列得到结果文本。