[发明专利]一种图像处理方法、装置、计算机设备以及存储介质在审
申请号: | 202111265558.9 | 申请日: | 2021-05-13 |
公开(公告)号: | CN113963175A | 公开(公告)日: | 2022-01-21 |
发明(设计)人: | 许鲁珉;关英妲;金晟;刘文韬;钱晨 | 申请(专利权)人: | 北京市商汤科技开发有限公司 |
主分类号: | G06V10/44 | 分类号: | G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京中知恒瑞知识产权代理事务所(普通合伙) 11889 | 代理人: | 吴迪 |
地址: | 100080 北京市海淀区北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 图像 处理 方法 装置 计算机 设备 以及 存储 介质 | ||
1.一种图像处理方法,其特征在于,包括:
获取当前图像帧,并获取当前图像帧的上一图像帧的图像处理结果;
基于所述当前图像帧所属的视频片段确定所述当前图像帧的图像帧类型,其中,所述图像帧类型包括非关键帧或者关键帧;
基于所述图像帧类型确定与所述当前图像帧相匹配的多个搜索维度的搜索范围,并基于所述搜索范围在预先训练的超网络中为所述当前图像帧搜索满足计算资源约束条件的图像处理模型,所述搜索维度包含:模型深度参数,卷积层参数;
将所述当前图像帧和所述上一图像帧的图像处理结果输入至所述图像处理模型中进行处理,得到所述当前图像帧的图像处理结果。
2.根据权利要求1所述的方法,其特征在于,所述基于所述图像帧类型确定与所述当前图像帧相匹配的多个搜索维度的搜索范围,并基于所述搜索范围在预先训练的超网络中为所述当前图像帧搜索满足计算资源约束条件的图像处理模型,包括:
在所述当前图像帧的图像帧类型为非关键帧的情况下,在所述视频片段中确定包含所述当前图像帧的多个连续非关键帧;
确定每个所述非关键帧的目标搜索范围;其中,每个所述目标搜索范围中包含预设搜索维度中多个第一搜索维度的一个搜索范围;
基于各个非关键帧的目标搜索范围,在第一超网络中搜索满足第一计算资源约束条件的至少一个子网络模型组,并根据所述至少一个子网络模型组确定所述图像处理模型。
3.根据权利要求2所述的方法,其特征在于,所述根据所述至少一个子网络模型组确定所述图像处理模型,包括:
获取目标测试样本;
通过所述目标测试样本对每个所述子网络模型组进行测试,得到至少一个测试结果;
在所述至少一个测试结果中选择目标测试结果所对应的目标子网络模型组,并根据所述目标子网络模型组确定所述图像处理模型,其中,所述目标测试结果为所述至少一个测试结果中满足第一测试条件的测试结果。
4.根据权利要求1至3中任一项所述的方法,其特征在于,在所述当前图像帧的图像帧类型为非关键帧的情况下,通过以下步骤训练待训练的第一超网络:
获取第一训练样本集,其中,所述第一训练样本集中包含多个第一训练样本,每个第一训练样本包含多个非关键帧;
在待训练的第一超网络中提取多组待训练子网络;每组待训练子网络中子网络的数量与每个第一训练样本中非关键帧的数量相同,且一个待训练子网络对应处理该训练样本中的一个非关键帧;
通过所述第一训练样本集对每组待训练子网络进行训练,训练之后得到所述第一超网络。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述基于所述图像帧类型确定与所述当前图像帧相匹配的多个搜索维度的搜索范围,并基于所述搜索范围在预先训练的超网络中为所述当前图像帧搜索满足计算资源约束条件的图像处理模型,包括:
在所述当前图像帧的图像帧类型为关键帧的情况下,在预设搜索维度中确定与所述当前图像帧相匹配的多个第二搜索维度的搜索范围;所述多个第二搜索维度包含用于指示所述上一图像帧所对应的图像处理模型结构的空间搜索维度;
基于各个第二搜索维度的搜索范围对预先训练的第二超网络进行搜索,得到满足第二计算资源约束条件的至少一个第二子网络模型;其中,所述第二计算资源约束条件用于表征对关键帧进行处理的复杂度;
基于所述至少一个第二子网络模型确定所述当前图像帧所对应图像处理模型。
6.根据权利要求5所述的方法,其特征在于,所述基于所述至少一个第二子网络模型确定所述当前图像帧所对应图像处理模型,包括:
通过每个第二子网络模型对预设测试集进行处理,得到多个测试结果;其中,所述测试结果用于表征对应第二子网络模型的预测准确度;
在所述多个测试结果中确定目标测试结果所对应的第二子网络模型为所述图像处理模型,其中,所述目标测试结果为多个测试结果中满足第二测试条件的测试结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京市商汤科技开发有限公司,未经北京市商汤科技开发有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111265558.9/1.html,转载请声明来源钻瓜专利网。
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序