[发明专利]一种对抗神经网络的集成方法及计算机设备在审
申请号: | 201811426216.9 | 申请日: | 2018-11-27 |
公开(公告)号: | CN109615072A | 公开(公告)日: | 2019-04-12 |
发明(设计)人: | 陈征宇;林韶军;黄河;洪章阳;李昱东;戴文艳 | 申请(专利权)人: | 长威信息科技发展股份有限公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/04 |
代理公司: | 福州市鼓楼区京华专利事务所(普通合伙) 35212 | 代理人: | 林晓琴 |
地址: | 350000 福建省福州市保税*** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 训练数据 生成模型 对抗 计算机设备 判别模型 神经网络 学习 神经网络模型 问题环境 逐渐增加 迭代 求解 抽象 重复 分析 | ||
1.一种对抗神经网络的集成方法,对抗神经网络包括生成模型和判别模型,其特征在于:所述方法包括如下步骤:
步骤1、安排从简单到复杂类别的训练数据作为示范;
步骤2、通过所述生成模型来搭建一个符合当前类别的训练数据的问题环境,输入当前类别的训练数据到生成模型,所述生成模型根据该训练数据在该问题环境中生成一个待解决问题;
步骤3、将待解决问题输入给所述判别模型,并通过所述判别模型对待解决问题进行判别和分析,产生待解决问题对应的解;
步骤4、通过所述生成模型和判别模型对当前类别的训练数据进行对抗学习,通过不断地对抗学习将解收敛到一个稳定值,即学习到了当前所见训练难度的求解知识;
步骤5、增加下一类别的训练数据的难度,重复步骤2至步骤4对当前类别的训练数据进行下一轮迭代,每一轮迭代中的生成模型和判别模型是将之前的生成模型和判别模型视为本轮已知的求解知识,将之前训练过的所有生成模型和判别模型作为函数进行调用,利用之前迭代产生的训练数据进行对抗学习,学习解决本轮迭代中的问题,直至完成所有训练数据的对抗学习,如此就集成了所有待解决问题的求解知识。
2.如权利要求1所述的一种对抗神经网络的集成方法,其特征在于:所述步骤2具体为:
通过所述生成模型来搭建一个符合当前类别的训练数据的问题环境,一个问题环境由复数个表示事实的事实数据和一个表示问题的形式语言组成,事实数据由生成模型从训练数据中抽取,形式语言是根据程序代码预先设计而成的;所述生成模型是一个解码神经网络,以抽取的训练数据作为输入,生成模型根据当前训练数据在该问题环境中生成一个待解决问题。
3.如权利要求1所述的一种对抗神经网络的集成方法,其特征在于:所述步骤4在通过不断地对抗学习将解收敛到一个稳定值具体为:通过对抗学习并使用随机梯度下降法对产生的解进行优化,达到最终的优化目标,减少输出的解与真实的解之间的差距,从而将输出的解收敛到一个稳定值。
4.如权利要求1所述的一种对抗神经网络的集成方法,其特征在于:所述步骤5之后还包括:
步骤6、将每一轮迭代产生的训练数据存储在对抗神经网络的记忆单元中,当需要用到学习后的训练数据时,再从记忆单元中调用和学习,具体有:
步骤61、采集问题学习后的训练数据,所述学习后的训练数据包括问题信息和对应的解答信息,根据编码模型将所述学习后的训练数据编码成对应的求解特征向量,并将该求解特征向量存储在深度神经网络的记忆单元中;
步骤62、输入目标特征向量给深度神经网络;
步骤63、根据查询模型从记忆单元中查找各求解特征向量,分别计算出每个求解特征向量与目标特征向量之间的差值,从记忆单元中提取出与目标特征向量最接近的求解特征向量,差值越小,表示求解特征向量与目标特征向量越接近;
步骤64、将该差值作为新的目标特征向量,输入到深度神经网络中,重复步骤63至步骤64进行下一轮迭代,迭代次数由用户自行设定,若在设定的迭代次数内该差值位于设定范围内,则认为该问题信息描述的问题已被记忆单元中的解答信息所解决,最终提取出最接近的的求解特征向量给解码模型,进入步骤65;否则认为该问题需要新知识来解决,那么将最后的差值存放在记忆单元中;
步骤65、解码模型读取该求解特征向量,并根据该求解特征向量产生对应的指令序列,再根据该指令序列将求解特征向量还原成对应的学习后的训练数据,所述指令序列作为学习后的训练数据的调用接口,将学习后的训练数据从深度神经网络中解放出来用于学习问题的规律。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于长威信息科技发展股份有限公司,未经长威信息科技发展股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811426216.9/1.html,转载请声明来源钻瓜专利网。