[发明专利]一种2D图像转3D图像的方法、装置、设备及介质在审
申请号: | 202111334466.1 | 申请日: | 2021-11-11 |
公开(公告)号: | CN114037690A | 公开(公告)日: | 2022-02-11 |
发明(设计)人: | 吴方印;陈平;杨东 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06T7/00 | 分类号: | G06T7/00 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 孟维娜;高莺然 |
地址: | 100080 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 图像 方法 装置 设备 介质 | ||
1.一种2D图像转3D图像的方法,其特征在于,所述方法包括:
获得待进行3D转换的2D图像,作为第一单目视图,其中,所述第一单目视图为左目视图或右目视图;
将所述第一单目视图输入到预先训练完成的视差图预测模型中,通过所述视差图预测模型预测所述第一单目视图对应的视差图;
利用所述视差图对所述第一单目视图进行视图转换处理,得到第二单目视图,其中,所述第二单目视图为与所述第一单目视图的另一侧视图;
通过预设图像处理方式对所述第一单目视图及所述第二单目视图进行处理,得到所述2D图像对应的3D图像。
2.根据权利要求1所述的方法,其特征在于,所述视差图预测模型通过以下方法训练得到:
获得用于进行模型训练的2D图像,作为样本图像,其中,所述样本图像为左目视图或右目视图;
按照预设的视差图计算算法计算所述样本图像对应的视差图,作为视差标注图;
将所述样本图像输入待训练的视差图预测模型,利用所述视差图预测模型预测输入的所述样本图像对应的视差图,得到视差预测图;
按照预设的损失计算方式,计算所述视差预测图相对所述视差标注图的第一目标损失,其中,所述损失计算方式基于线形变化原则得到,所述线性变化原则为:不同的视差图之间,不同像素位置的视差值满足相同的线性变化规律;
基于所述第一目标损失对所述视差图预测模型进行参数调整,实现对所述视差图预测模型的训练。
3.根据权利要求2所述的方法,其特征在于,所述按照预设的视差图计算算法计算所述样本图像对应的视差图,作为视差标注图,包括:
分别利用不同的视差图计算算法计算所述样本图像的视差图,得到所述样本图像的多个视差图,作为多个候选视差图;
针对所述多个候选视差图中的每一图像位置,在不同候选视差图中该图像位置的视差值之间的差异满足预设的差异条件的情况下,判断该图像位置为有效位置;
基于不同的候选视差图中所述有效位置处的视差值,确定所述有效位置处的视差值,作为目标视差值,根据各个有效位置及有效位置处的目标视差值,获得所述样本图像对应的视差图,作为视差标注图。
4.根据权利要求3所述的方法,其特征在于,所述针对所述多个候选视差图中的每一图像位置,在不同候选视差图中该图像位置的视差值之间的差异满足预设的差异条件的情况下,判断该图像位置为有效位置,包括:
针对所述多个候选视差图中的每一图像位置,计算不同的候选视差图中该图像位置的视差值之间的差值,判断所计算的差值中的最大差值是否小于等于预设的差值阈值,若为是,判断该图像位置为有效位置。
5.根据权利要求3所述的方法,其特征在于,所述按照预设的损失计算方式,计算所述视差预测图相对所述视差标注图的第一目标损失,包括:
利用以下公式计算所述视差预测图相对所述视差标注图的第一目标损失L(d,d*):
h=(s,t)T,
其中,所述M表示所述视差预测图的像素点数量,所述valid_mask表示所述有效位置的数量,所述di表示所述视差预测图中第i个像素点的像素值,所述表示所述视差标注图中第i个像素点的像素值,所述s表示所述线性视差变化规律中的尺度参数,所述t表示所述线性视差变化规律中的平移参数,所述hopt表示所述h的最优解求取函数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111334466.1/1.html,转载请声明来源钻瓜专利网。
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序