[发明专利]神经网络的训练方法、装置、电子设备及存储介质在审
申请号: | 202010364920.7 | 申请日: | 2020-04-30 |
公开(公告)号: | CN113673692A | 公开(公告)日: | 2021-11-19 |
发明(设计)人: | 郝洋;丁文彪;刘子韬 | 申请(专利权)人: | 北京世纪好未来教育科技有限公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/04;G06K9/62;G10L15/06;G10L15/16;G10L15/08;G10L25/63 |
代理公司: | 北京合智同创知识产权代理有限公司 11545 | 代理人: | 李杰 |
地址: | 100086 北京市海淀区中*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 神经网络 训练 方法 装置 电子设备 存储 介质 | ||
本申请实施例提供一种神经网络的训练方法、装置、设备及存储介质,神经网络的训练方法包括:从用于训练神经网络的第一网络的当前样本集中选择至少一个样本组,样本组包括至少两正样本和一负样本,两正样本中包括第一样本;将样本组中的每个样本输入第一网络得到各样本对应的特征表示;针对每一个样本组,根据样本组中各样本对应的特征表示,以及各样本的置信度,确定样本组的后验概率;基于至少一个样本组对应的后验概率,在至少一个样本组中确定至少一个目标数据组;基于至少一个目标数据组对第一网络进行训练。提高了网络训练的效果,增强了神经网络的准确度。
技术领域
本申请实施例涉及机器学习技术领域,尤其涉及神经网络的训练方法、装置、电子设备及存储介质。
背景技术
在机器学习过程中,需要利用大量样本对神经网络模型进行训练,训练好的神经网络才能用于检测。在一些应用场景中,样本数据通常预先标注,为了提高标注的精度,可以由多方进行标注,即众包标签,一个样本包含多方标注的标签。
但是,众包标签不一致程度较高,被一部分标记者错误标记的样本很可能对神经网络的训练起到阻碍作用,降低神经网络准确度。
发明内容
有鉴于此,本发明实施例所解决的技术问题之一在于提供一种神经网络的训练方法、装置、电子设备及存储介质,用以克服上述缺陷。
本申请实施例提供一种神经网络的训练方法,其包括:
从用于训练神经网络的第一网络的当前样本集中选择至少一个样本组,样本组至少包括两正样本和一负样本,两正样本中包括第一样本;将样本组中的每个样本输入第一网络得到各样本对应的特征表示;针对每一个样本组,根据样本组中各样本对应的特征表示,以及各样本的置信度,确定样本组的后验概率;基于至少一个样本组对应的后验概率,在至少一个样本组中确定至少一个目标数据组;基于至少一个目标数据组对第一网络进行训练。
可选地,在本申请的一种实施例中,该方法还包括:
在至少一个样本组的正样本中确定至少一个第二样本;根据至少一个样本组中第二样本对应的第二特征表示,确定第一样本对应的第一特征表示。
可选地,在本申请的一种实施例中,根据至少一个样本组中第二样本对应的第二特征表示,确定第一样本对应的第一特征表示,包括:
计算至少一个样本组中第二样本对应的第二特征表示的平均特征表示,作为第一样本对应的第一特征表示。
可选地,在本申请的一种实施例中,基于至少一个样本组对应的后验概率,在至少一个样本组中确定至少一个目标数据组,包括:
将后验概率小于预设概率的样本组确定为目标数据组;或,对后验概率按概率值大小进行排序,将排名在后或排名在前的预设比例的样本组确定为目标数据组。
可选地,在本申请的一种实施例中,根据样本组中各样本对应的特征表示,以及各样本的置信度,确定样本组的后验概率,包括:
根据样本组中各样本对应的特征表示以及第一样本对应的第一特征表示计算目标数据组中每一个样本与第一样本的相似度;根据样本组中各样本的众包标签,确定各样本的置信度;根据相似度与置信度计算样本组的后验概率。
可选地,在本申请的一种实施例中,该方法还包括:
从用于训练神经网络的第一网络的多个样本集中选择一样本集作为当前样本集;以及
在基于当前样本集中的至少一个目标数据组对第一网络进行训练后,重复从多个样本集中选择一样本集作为当前样本集以及对第一网络进行训练的过程;
调整第一网络的参数,直至第一网络的损失值满足第一预设条件。
可选地,在本申请的一种实施例中,调整第一网络的参数,直至第一网络的损失值满足预设条件,包括:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京世纪好未来教育科技有限公司,未经北京世纪好未来教育科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010364920.7/2.html,转载请声明来源钻瓜专利网。