[发明专利]神经网络的训练方法、装置、电子设备及存储介质在审
申请号: | 202010364920.7 | 申请日: | 2020-04-30 |
公开(公告)号: | CN113673692A | 公开(公告)日: | 2021-11-19 |
发明(设计)人: | 郝洋;丁文彪;刘子韬 | 申请(专利权)人: | 北京世纪好未来教育科技有限公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/04;G06K9/62;G10L15/06;G10L15/16;G10L15/08;G10L25/63 |
代理公司: | 北京合智同创知识产权代理有限公司 11545 | 代理人: | 李杰 |
地址: | 100086 北京市海淀区中*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 神经网络 训练 方法 装置 电子设备 存储 介质 | ||
1.一种神经网络的训练方法,其特征在于,包括:
从用于训练所述神经网络的第一网络的当前样本集中选择至少一个样本组,所述样本组至少包括两正样本和一负样本,所述两正样本中包括第一样本;
将所述样本组中的每个样本输入所述第一网络得到各样本对应的特征表示;
针对每一个样本组,根据所述样本组中各样本对应的特征表示,以及各样本的置信度,确定所述样本组的后验概率;
基于至少一个样本组对应的后验概率,在所述至少一个样本组中确定至少一个目标数据组;
基于所述至少一个目标数据组对所述第一网络进行训练。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述至少一个样本组的正样本中确定至少一个第二样本;
根据至少一个样本组中所述第二样本对应的第二特征表示,确定第一样本对应的第一特征表示。
3.根据权利要求2所述的方法,其特征在于,根据至少一个样本组中所述第二样本对应的第二特征表示,确定第一样本对应的第一特征表示,包括:
计算至少一个样本组中所述第二样本对应的第二特征表示的平均特征表示,作为所述第一样本对应的第一特征表示。
4.根据权利要求1所述的方法,其特征在于,基于至少一个样本组对应的后验概率,在所述至少一个样本组中确定至少一个目标数据组,包括:
将后验概率小于预设概率的样本组确定为所述目标数据组;或,
对后验概率按概率值大小进行排序,将排名在后或排名在前的预设比例的样本组确定为所述目标数据组。
5.根据权利要求1所述的方法,其特征在于,所述根据所述样本组中各样本对应的特征表示,以及各样本的置信度,确定所述样本组的后验概率,包括:
根据所述样本组中各样本对应的特征表示以及第一样本对应的第一特征表示计算所述样本组中每一个样本与所述第一样本的相似度;
根据样本组中各样本的众包标签,确定各样本的置信度;
根据所述相似度与所述置信度计算所述样本组的后验概率。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
从用于训练所述神经网络的第一网络的多个样本集中选择一样本集作为所述当前样本集;以及
在基于所述当前样本集中的至少一个目标数据组对所述第一网络进行训练后,重复所述从多个样本集中选择一样本集作为当前样本集以及对所述第一网络进行训练的过程;
调整所述第一网络的参数,直至所述第一网络的损失值满足第一预设条件。
7.根据权利要求6所述的方法,其特征在于,调整所述第一网络的参数,直至所述第一网络的损失值满足预设条件,包括:
根据所述至少一个目标数据组中各目标样本与第一样本的相似度、各目标样本的置信度计算所述至少一个目标数据组中各目标样本的损失值;
根据所述损失值调整所述第一网络中的权重参数,直至所述第一网络的损失值满足所述第一预设条件。
8.根据权利要求7所述的方法,其特征在于,根据所述至少一个目标数据组中各目标样本与第一样本的相似度、各目标样本的置信度计算所述至少一个目标数据组中各目标样本的损失值,包括:
根据所述至少一个目标数据组中各目标样本与第一样本的相似度、各目标样本的置信度计算所述至少一个目标数据组中各目标样本的后验概率;
将所述至少一个目标数据组中各目标样本的后验概率代入损失函数得到所述损失值。
9.根据权利要求1-8中任一项所述的方法,其特征在于,所述方法还包括:
将所述当前样本集中的样本输入训练后的所述第一网络,得到各样本对应的训练特征表示,根据各样本对应的训练特征表示以及所述各样本对应的标签训练所述神经网络的第二网络。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京世纪好未来教育科技有限公司,未经北京世纪好未来教育科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010364920.7/1.html,转载请声明来源钻瓜专利网。