[发明专利]图像处理方法、装置、可读介质及电子设备在审

专利信息
申请号: 202011159192.2 申请日: 2020-10-26
公开(公告)号: CN112258622A 公开(公告)日: 2021-01-22
发明(设计)人: 薛舟;王光伟 申请(专利权)人: 北京字跳网络技术有限公司
主分类号: G06T15/50 分类号: G06T15/50;G06T15/00;G06T5/50
代理公司: 北京英创嘉友知识产权代理事务所(普通合伙) 11447 代理人: 曹寒梅
地址: 100190 北京市*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 图像 处理 方法 装置 可读 介质 电子设备
【权利要求书】:

1.一种图像处理方法,其特征在于,所述方法包括:

获取第一图像和第二图像;

通过信息提取模型,确定所述第一图像的目标属性信息,属性信息包括深度信息、法向信息、颜色信息和材质信息中的至少一者;

获取所述第二图像中指定位置处的目标光照信息;

根据所述目标属性信息和所述目标光照信息,利用重光照技术对所述第一图像进行图像渲染,获得处理后的目标图像;

其中,所述信息提取模型基于初始模型获得,所述初始模型用于提取图像的属性信息及光照信息,以及,在每一次训练所述信息提取模型的过程中,将训练图像输入至所述初始模型后,根据所述初始模型针对所述训练图像的输出内容得到合成图像,并确定所述合成图像相比于所述训练图像的目标损失值,若不满足停止训练条件,利用所述目标损失值更新初始模型,并将更新后的初始模型用于下一次训练。

2.根据权利要求1所述的方法,其特征在于,在每一次训练所述信息提取模型的过程中,若满足停止训练条件,则将本次训练所使用的初始模型作为所述信息提取模型。

3.根据权利要求1所述的方法,其特征在于,所述初始模型包括多个级联的子模型,每个子模型用于提取光照信息或属性信息中的一者;

以及,所述初始模型通过如下方式获得:

按照从初始模型输入层到初始模型输出层的方向,依次训练每个子模型,直至最靠近初始模型输出层的子模型训练完毕,以得到训练完成的初始模型。

4.根据权利要求3所述的方法,其特征在于,用于提取指定信息的目标子模型通过如下方式获得:

获取所述目标子模型所需的训练数据,所述训练数据包括第三图像和第三图像对应于所述指定信息的第一信息;

根据所述训练数据,对神经网络模型进行训练,以获得所述目标子模型;

其中,所述指定信息为光照信息或属性信息中的一者。

5.根据权利要求4所述的方法,其特征在于,若所述目标子模型与初始模型输入层之间存在其他子模型,所述训练数据还包括第二信息,所述第二信息包括所述其他子模型中的任意一者或多者针对所述第三图像的输出内容。

6.根据权利要求3所述的方法,其特征在于,所述初始模型包括5个级联的子模型,并且,按照从初始模型输入层到初始模型输出层的方向,依次为用于提取深度信息的子模型、用于提取法向信息的子模型、用于提取颜色信息的子模型、用于提取光照信息的子模型和用于提取材质信息的子模型。

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:

将所述目标图像添加至所述第二图像中的所述指定位置处。

8.一种图像处理装置,其特征在于,所述装置包括:

第一获取模块,用于获取第一图像和第二图像;

确定模块,用于通过信息提取模型,确定所述第一图像的目标属性信息,属性信息包括深度信息、法向信息、颜色信息和材质信息中的至少一者;

第二获取模块,用于获取所述第二图像中指定位置处的目标光照信息;

第一处理模块,用于根据所述目标属性信息和所述目标光照信息,利用重光照技术对所述第一图像进行图像渲染,获得处理后的目标图像;

其中,所述信息提取模型基于初始模型获得,所述初始模型用于提取图像的属性信息及光照信息,以及,在每一次训练所述信息提取模型的过程中,将训练图像输入至所述初始模型后,根据所述初始模型针对所述训练图像的输出内容得到合成图像,并确定所述合成图像相比于所述训练图像的目标损失值,若不满足停止训练条件,利用所述目标损失值更新初始模型,并将更新后的初始模型用于下一次训练。

9.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理装置执行时实现权利要求1-7中任一项所述方法的步骤。

10.一种电子设备,其特征在于,包括:

存储装置,其上存储有计算机程序;

处理装置,用于执行所述存储装置中的所述计算机程序,以实现权利要求1-7中任一项所述方法的步骤。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字跳网络技术有限公司,未经北京字跳网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202011159192.2/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top