[发明专利]一种深度神经网络的记忆方法及计算机设备

说明书

本发明提供一种深度神经网络的记忆方法，包括如下步骤：1、采集问题学习后的训练数据，根据编码模型将训练数据编码成求解特征向量，并存储在记忆单元中；2、输入目标特征向量；3、根据查询模型从记忆单元中查找各求解特征向量，分别计算出每个求解特征向量与目标特征向量之间的差值，从记忆单元中提取出与目标特征向量最接近的求解特征向量；4、将该差值作为新的目标特征向量进行下一轮的输入和迭代，直至完成设定迭代次数，最终提取出最接近的求解特征向量给解码模型；5、读取该求解特征向量，产生对应的指令序列，将求解特征向量还原成训练数据。本发明还提供一种计算机设备，将训练数据表示为求解特征向量，大大提高记忆能力。

技术领域

本发明涉及一种神经网络，尤其涉及一种深度神经网络的记忆方法及计算机设备。

背景技术

传统神经网络对输入数据进行一系列由参数确定的变换后得到输出数据。当参数匹配训练数据中频繁出现的特征时神经网络会获得训练目标的良好表现，即参数记忆了训练数据中的特征。典型深度神经网络就是倾向于用模型中的可训练参数记忆训练数据中的特征。在感知问题上表现好，但对训练数据中的特征的存储和读取方式记忆能力差，缺乏更高层次的泛化能力(泛化能力(generalization ability)是指由学习到的模型对未知数据的预测能力，比如设计一个解决加法问题的模型，训练数据为两位数加法的算术和答案，模型能学会任意位数加法就是良好的泛化)，难以解决一般的认知和推理问题。

有鉴于此，本发明针对这个特性进行研究并由此产生本技术方案。

发明内容

本发明要解决的技术问题之一，在于提供一种深度神经网络的记忆方法，通过将神经网络的训练数据表示为记忆单元中的求解特征向量，大大提高记忆能力。

本发明的问题之一，是这样实现的：

一种深度神经网络的记忆方法，深度神经网络包括编码模型、记忆单元、查询模型和解码模型，包括如下步骤：

步骤1、采集问题学习后的训练数据，所述学习后的训练数据包括问题信息和对应的解答信息，根据编码模型将所述学习后的训练数据编码成对应的求解特征向量，并将该求解特征向量存储在深度神经网络的记忆单元中；

步骤2、输入目标特征向量给深度神经网络；

步骤3、根据查询模型从记忆单元中查找各求解特征向量，分别计算出每个求解特征向量与目标特征向量之间的差值，从记忆单元中提取出与目标特征向量最接近的求解特征向量，差值越小，表示求解特征向量与目标特征向量越接近；

步骤4、将该差值作为新的目标特征向量，输入到深度神经网络中，重复步骤3至步骤4进行下一轮迭代，迭代次数由用户自行设定，若在设定的迭代次数内该差值位于设定范围内，则认为该问题信息描述的问题已被记忆单元中的解答信息所解决，最终提取出最接近的的求解特征向量给解码模型，进入步骤5；否则认为该问题需要新知识来解决，那么将最后的差值存放在记忆单元中；

步骤5、解码模型读取该求解特征向量，并根据该求解特征向量产生对应的指令序列，再根据该指令序列将求解特征向量还原成对应的学习后的训练数据，所述指令序列作为学习后的训练数据的调用接口，将学习后的训练数据从深度神经网络中解放出来用于学习问题的规律。

进一步地，所述步骤1中采用seq2seq模型中的编码器将所述学习后的训练数据编码成对应的求解特征向量。

进一步地，所述步骤3中计算出每个求解特征向量与问题特征向量之间的差值，具体为：将每个求解特征向量一一与目标特征向量进行比对，并通过向量距离计算公式计算出求解特征向量与目标特征向量之间的距离。

进一步地，所述步骤5具体为：所述解析模型采用的是seq2seq模型，由seq2seq模型中的解码器产生的指令序列进行解码，该指令序列包括寻址、读、写和应用变换操作指令。