[发明专利]神经网络训练方法、设备及计算机可读介质在审
申请号: | 202110813756.8 | 申请日: | 2021-07-19 |
公开(公告)号: | CN113537491A | 公开(公告)日: | 2021-10-22 |
发明(设计)人: | 姚广;苏仲岳;闫正 | 申请(专利权)人: | 上海眼控科技股份有限公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/04 |
代理公司: | 上海百一领御专利代理事务所(普通合伙) 31243 | 代理人: | 王奎宇;邵栋 |
地址: | 200030 上海市徐汇*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 神经网络 训练 方法 设备 计算机 可读 介质 | ||
本申请提供了一种神经网络训练方案,该方案首先可以训练第一神经网络,作为前置网络,并在训练完成后固定所述第一神经网络的参数,而第二神经网络作为后续处理的网络,包括了解码器和编码器,可以先以所述第二解码特征信息、第三解码特征信息和第四解码特征信息分别逼近所述第二特征信息、第三特征信息和第四特征信息为训练目标训练第二神经网络,然后固定其中编码器的参数,再训练所述第二神经网络的编码器,更新所述编码器的参数,从而完成整个神经网络的训练。训练完成的第一神经网络和第二申请网络即可作为一个整体的神经网络,有效地提取图像中的方向性信息,并利用这些方向性信息来完成分类。
技术领域
本申请涉及信息技术领域,尤其涉及一种神经网络训练方法、设备及计算机可读介质。
背景技术
度量学习(Metric Learning),是人脸识别中的一种常用机器学习方法,由EricXing在NIPS 2002提出,其能够学习到一种特征(Embedding)空间,在此空间中,所有的数据都被转换成一个特征向量,并且想死样本的特征向量之间距离小,不相似样本的特征向量之间距离大,从而对数据进行区分。度量学习又称为距离度量学习(Distance MetricLearning,DML)或相似度学习,现在度量学习通常用在很多领域中,比如图像目标检测,图像分类,目标跟踪,人脸识别,数据分类等。在应用于图像分类时,目前没有一种较为成熟的方案来提取图像中的方向性信息,并利用这些方向性信息来完成分类。
发明内容
本申请的一个目的是提供一种神经网络训练方案,用以提取图像中的方向性信息并利用这些方向性信息来完成图像的分类。
为实现上述目的,本申请提供了一种神经网络训练方法,该方法包括:
训练第一神经网络,并在训练完成后固定所述第一神经网络的参数;
将训练图片进行分形处理,获取包括四个旋转角度的所述训练图片的输入图片,并将所述输入图片输入所述第一神经网络,获取第一特征信息、第二特征信息、第三特征信息和第四特征信息,所述四个旋转角度分别为0°、90°、180°和270°,所述第一特征信息表示旋转角度为0°的训练图片的图像特征,所述第二特征信息表示旋转角度为90°的训练图片的图像特征,所述第三特征信息表示旋转角度为180°的训练图片的图像特征,所述第四特征信息表示旋转角度为270°的训练图片的图像特征;
将输入图片输入第二神经网络的编码器进行编码,获取编码特征信息,并将所述编码特征信息和第一特征信息输入第二神经网络的解码器进行解码,获取第二解码特征信息、第三解码特征信息和第四解码特征信息;
根据第二解码特征信息、第三解码特征信息和第四解码特征信息以及第二特征信息、第三特征信息和第四特征信息,训练所述第二神经网络,以更新所述第二神经网络的参数,使得所述第二解码特征信息、第三解码特征信息和第四解码特征信息分别逼近所述第二特征信息、第三特征信息和第四特征信息;
固定所述编码器的参数,训练所述第二神经网络的编码器,以更新所述编码器的参数。
进一步地,所述编码器采用网络深度小于预设值的卷积神经网络,所述解码器包括全连接层和标准化层。
进一步地,根据第二解码特征信息、第三解码特征信息和第四解码特征信息以及第二特征信息、第三特征信息和第四特征信息,训练所述第二神经网络的编码器,以更新所述编码器的参数,使得所述第二解码特征信息、第三解码特征信息和第四解码特征信息分别逼近所述第二特征信息、第三特征信息和第四特征信息,包括:
使用均方损失函数更新所述神经网络的参数,使得所述第二解码特征信息、第三解码特征信息和第四解码特征信息分别与所述第二特征信息、第三特征信息和第四特征信息之间的差异小于预设值。
进一步地,训练第一神经网络,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海眼控科技股份有限公司,未经上海眼控科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110813756.8/2.html,转载请声明来源钻瓜专利网。