[发明专利]深度学习神经网络及训练、预测方法、系统、设备、介质

说明书

本发明适用计算机技术领域，提供了一种深度学习神经网络及训练、预测方法、系统、设备、介质，在训练阶段，将训练用问题及答案文本转化为序列后进行拼接，将拼接所得组合序列输入神经网络中，处理得到一部分关键词汇向量，并且将问题序列输入神经网络中，处理得到另一部分关键词汇向量，然后按照概率分布，将这些关键词汇向量构成结果文本所对应的序列，利用答案文本序列及处理得到的向量或序列对神经网络进行参数更新；预测阶段类似，区别在于组合序列是由问题文本序列与从问题文本中某些关键词汇对应向量拼接而成。这样，利用深度学习神经网络能根据问题语义灵活地提供答案，从而满足多样性及灵活性要求，同时能提高处理速度，保证实时性。

技术领域

本发明属于计算机技术领域，尤其涉及一种深度学习神经网络及训练、预测方法、系统、设备、介质。

背景技术

问答系统允许用户以自然语言的方式进行提问，并且能够快速给出精确的答案，具有高实时性、高准确性以及交互界面友好等特点，引发了学术界和企业界的广泛关注，近年来在各应用领域中得到快速发展。

目前，问答系统主要是基于检索的方式，该类问答系统可以保证返回的答案语法正确、流畅度高。然而，检索式的问答系统极度依赖于已有的数据集，只能与已存在数据集中的答案进行简单匹配，存在返回的答案固定，不具有多样性，灵活度不够高的问题，而且匹配速度慢，实时性不足。

发明内容

本发明的目的在于提供一种深度学习神经网络及训练、预测方法、系统、设备、介质，旨在解决现有技术所存在的、因采用固定答案匹配而导致的问答多样性、灵活度不够高的问题。

一方面，本发明提供了一种深度学习神经网络的训练方法，包括：

获得包含词汇的训练用问题文本及答案文本；

将所述词汇向量化，以由所述问题文本得到问题文本序列，由所述答案文本得到答案文本序列，并将所述问题文本序列与所述答案文本序列进行拼接，得到组合文本序列；

利用所述组合文本序列、所述问题文本序列、所述答案文本序列以及包含所述词汇的词字典空间，对用于从所述问题文本预测得到结果文本的深度学习神经网络进行训练，其中，所述深度学习神经网络对所述组合文本序列进行处理，得到与包含于所述问题文本及所述答案文本中的第一词汇相对应的第一词汇向量，对所述问题文本序列依次进行编码及解码，得到与包含于所述词字典空间中且不同于所述第一词汇的第二词汇相对应的第二词汇向量，所述第一词汇与所述第二词汇用于构成所述结果文本，并且，依据所述第一词汇向量与所述第二词汇向量的概率分布，输出包含所述第一词汇向量及所述第二词汇向量的、与所述结果文本对应的结果文本序列。

进一步的，所述深度学习神经网络包含：第一子神经网络、第二子神经网络及第三子神经网络，

所述第一子神经网络为：用于对所述组合文本序列进行处理，得到所述第一词汇向量的卷积神经网络，

所述第二子神经网络为：用于对所述问题文本序列依次进行编码及解码，得到所述第二词汇向量的序列到序列模型；

所述第三子神经网络为：用于基于图结构，对所述问题文本序列及所述答案文本序列进行处理，得到与包含于所述问题文本及所述答案文本中的第三词汇相对应的第三词汇向量的图卷积自编码神经网络。

进一步的，所述序列到序列模型基于注意力机制。

进一步的，所述序列到序列模型包含：编码器及解码器，所述编码器采用双向门控网络模型，所述解码器采用单向门控网络模型。

另一方面，本发明还提供了一种答案的预测方法，包括：

获得包含词汇的预测用问题文本；

将所述词汇向量化，以由所述问题文本得到问题文本序列；