[发明专利]模型生成方法和装置在审
申请号: | 202010025290.0 | 申请日: | 2020-01-10 |
公开(公告)号: | CN113128677A | 公开(公告)日: | 2021-07-16 |
发明(设计)人: | 希滕;张刚;温圣召 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08 |
代理公司: | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人: | 王达佐;马晓亚 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 模型 生成 方法 装置 | ||
1.一种模型生成方法,包括:通过依次执行多次迭代操作生成用于执行深度学习任务的神经网络模型;
其中,所述迭代操作包括:
基于当前的奖励反馈值以及预设的中间监督策略搜索空间确定出预设的神经网络模型在当前迭代操作中的中间监督策略,其中,所述奖励反馈值的初始值是预设的数值,所述预设的中间监督策略搜索空间包括在所述预设的神经网络模型加入的中间损失函数的数量搜索空间和位置搜索空间,所述中间损失函数用于监督所述预设的神经网络模型中对应位置之前的网络层的训练;
基于在当前的迭代操作中确定出的中间监督策略对所述预设的神经网络模型进行训练,得到训练后的神经网络模型的性能,并根据训练后的神经网络模型的性能更新所述奖励反馈值;
响应于确定奖励反馈值达到预设的收敛条件或迭代操作的次数达到预设的阈值,停止迭代操作,基于当前迭代操作中训练后的神经网络模型的参数生成所述用于执行深度学习任务的神经网络模型。
2.根据权利要求1所述的方法,其中,所述基于当前的奖励反馈值,在预设的中间监督策略搜索空间中确定出预设的神经网络模型在当前迭代操作中的中间监督策略,包括:
基于当前的奖励反馈值,在所述数量搜索空间内确定出当前迭代操作加入的中间损失函数的数量;
基于所述当前的奖励反馈值以及搜索出的加入的中间损失函数的数量,在所述位置搜索空间内搜索出当前迭代操作加入的中间损失函数的位置。
3.根据权利要求1或2所述的方法,其中,所述预设的中间监督策略搜索空间还包括加入的中间损失函数的参数搜索空间;
所述基于预设的中间监督策略搜索空间确定出预设的神经网络模型在当前迭代操作中的中间监督策略,包括:
基于所述数量搜索空间和位置搜索空间确定当前迭代操作中在所述预设的神经网络模型加入的中间损失函数的目标数量和目标位置;
在所述参数搜索空间内确定出当前迭代操作中在所述预设的神经网络模型加入的中间损失函数的参数,并基于所确定出的参数构建当前迭代操作中在各目标位置加入的中间损失函数。
4.根据权利要求3所述的方法,其中,所述用于执行深度学习任务的神经网络模型包括用于检测目标对象的关键点的神经网络模型;
所述加入的中间损失函数的参数搜索空间包括:关键点热力图的尺寸参数的搜索空间,所述关键点热力图中的像素值表征关键点落在对应像素位置的置信度。
5.根据权利要求1或2所述的方法,其中,所述训练后的神经网络模型的性能按照如下方式得到:
基于所述当前的迭代操作中加入的各中间损失函数在所述神经网络模型训练后的损失函数值,确定所述训练后的神经网络模型的性能。
6.根据权利要求1或2所述的方法,其中,所述基于当前迭代操作中训练后的神经网络模型的参数生成所述用于执行深度学习任务的神经网络模型,包括:
采用所述当前迭代操作中的中间监督策略,对所述当前迭代操作中训练后的神经网络模型进行训练,得到所述用于执行深度学习任务的神经网络模型。
7.一种模型生成装置,包括:生成单元,被配置为通过依次执行多次迭代操作生成用于执行深度学习任务的神经网络模型;
其中,所述迭代操作包括:
基于当前的奖励反馈值以及预设的中间监督策略搜索空间确定出预设的神经网络模型在当前迭代操作中的中间监督策略,其中,所述奖励反馈值的初始值是预设的数值,所述预设的中间监督策略搜索空间包括在所述预设的神经网络模型加入的中间损失函数的数量搜索空间和位置搜索空间,所述中间损失函数用于监督所述预设的神经网络模型中对应位置之前的网络层的训练;
基于在当前的迭代操作中确定出的中间监督策略对所述预设的神经网络模型进行训练,得到训练后的神经网络模型的性能,并根据训练后的神经网络模型的性能更新所述奖励反馈值;
响应于确定奖励反馈值达到预设的收敛条件或迭代操作的次数达到预设的阈值,停止迭代操作,基于当前迭代操作中训练后的神经网络模型的参数生成所述用于执行深度学习任务的神经网络模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010025290.0/1.html,转载请声明来源钻瓜专利网。