[发明专利]一种训练样本集生成的方法、装置、电子设备及存储介质有效
申请号: | 202110953373.0 | 申请日: | 2021-08-19 |
公开(公告)号: | CN113642659B | 公开(公告)日: | 2023-06-20 |
发明(设计)人: | 钟华平;刘卓名;何聪辉 | 申请(专利权)人: | 上海商汤科技开发有限公司 |
主分类号: | G06F18/214 | 分类号: | G06F18/214;G06F18/241;G06N3/0475;G06N3/084;G06N20/00 |
代理公司: | 北京中知恒瑞知识产权代理事务所(普通合伙) 11889 | 代理人: | 吴迪 |
地址: | 201306 上海市浦东新区中国(上*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 训练 样本 生成 方法 装置 电子设备 存储 介质 | ||
1.一种训练样本集生成的方法,其特征在于,所述方法包括:
获取各个未标注样本、以及基于训练样本集训练得到的目标神经网络;所述训练样本集中包括各个第一已标注样本;
基于所述各个第一已标注样本以及所述目标神经网络,确定在基于所述各个第一已标注样本进行目标神经网络前向传播的过程中,所述各个第一已标注样本对网络训练参数的预估影响程度和值;按照如下步骤确定所述预估影响程度和值:将所述各个第一已标注样本中的每个所述第一已标注样本输入到所述目标神经网络中,得到所述目标神经网络的损失函数对应的梯度和值和海森矩阵和值;其中,所述梯度和值用于表示每个所述第一已标注样本对应的梯度值的求和结果,所述梯度值用于表示在所述第一已标注样本前向传播的情况下、各个网络参数对所述损失函数的影响程度;所述海森矩阵和值用于表示每个所述第一已标注样本对应的海森矩阵的求和结果,所述海森矩阵用于表示在所述第一已标注样本前向传播的情况下、每个网络参数对所述损失函数的影响程度受其他网络参数的影响程度;基于所述梯度和值和所述海森矩阵和值的乘积运算,确定所述预估影响程度和值;以及,
基于所述各个未标注样本以及所述目标神经网络,确定在基于所述各个未标注样本进行目标神经网络前向传播的过程中,每个所述未标注样本对网络训练参数的预估影响程度值;
基于所述各个第一已标注样本对网络训练参数的预估影响程度和值以及每个所述未标注样本对网络训练参数的预估影响程度值,确定每个所述未标注样本对所述目标神经网络的网络训练的预估影响程度值;
从所述各个未标注样本中选取预估影响程度值符合预设要求的目标未标注样本;
在对选取的所述目标未标注样本进行样本标注得到目标已标注样本的情况下,将所述目标已标注样本添加至所述训练样本集中,得到更新后训练样本集;所述更新后训练样本集用于对所述目标神经网络再次进行网络训练。
2.根据权利要求1所述的方法,其特征在于,所述基于所述各个第一已标注样本以及所述目标神经网络,确定在基于所述各个第一已标注样本进行目标神经网络前向传播的过程中,所述各个第一已标注样本对网络训练参数的预估影响程度和值,包括:
获取训练参考集包括的各个第二已标注样本;所述训练参考集与所述训练样本集不存在相同的已标注样本;
基于所述各个第一已标注样本、所述各个第二已标注样本以及所述目标神经网络,确定在基于所述各个第一已标注样本和所述各个第二已标注样本进行目标神经网络前向传播的过程中,所述各个第一已标注样本以及所述各个第二已标注样本对网络训练参数的预估影响程度和值;
所述基于所述各个第一已标注样本对网络训练参数的预估影响程度和值以及每个所述未标注样本对网络训练参数的预估影响程度值,确定每个所述未标注样本对所述目标神经网络的网络训练的预估影响程度值,包括:
基于所述各个第一已标注样本以及所述各个第二已标注样本对网络训练参数的预估影响程度和值以及每个所述未标注样本对网络训练参数的预估影响程度值,确定每个所述未标注样本对所述目标神经网络的网络训练的预估影响程度值。
3.根据权利要求2所述的方法,其特征在于,按照如下步骤确定所述预估影响程度和值:
从所述各个第一已标注样本中选取多个第一已标注样本,并将所述多个第一已标注样本中的每个所述第一已标注样本输入到所述目标神经网络中,得到所述目标神经网络的损失函数对应的海森矩阵和值;所述海森矩阵和值用于表示每个所述第一已标注样本对应的海森矩阵的求和结果,所述海森矩阵用于表示在所述第一已标注样本前向传播的情况下、每个网络参数对所述损失函数的影响程度受其他网络参数的影响程度;以及,
将所述各个第二已标注样本中的每个第二已标注样本输入到所述目标神经网络中,得到所述目标神经网络的损失函数对应的梯度和值;所述梯度和值用于表示每个所述第二已标注样本对应的梯度值的求和结果,所述梯度值用于表示在所述第二已标注样本前向传播的情况下、各个网络参数对所述损失函数的影响程度;
基于所述梯度和值和所述海森矩阵和值的乘积运算,确定所述预估影响程度和值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海商汤科技开发有限公司,未经上海商汤科技开发有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110953373.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种无点火药数码电子雷管
- 下一篇:多功能橡胶硫化助剂及其制备方法和应用