[发明专利]基于卷积神经网络的视点数据生成方法和装置有效
申请号: | 201910646645.5 | 申请日: | 2019-07-17 |
公开(公告)号: | CN110443874B | 公开(公告)日: | 2021-07-30 |
发明(设计)人: | 刘烨斌;周玥眉;戴琼海 | 申请(专利权)人: | 清华大学 |
主分类号: | G06T15/00 | 分类号: | G06T15/00;H04N13/282;G06N3/04;G06N3/08 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 张润 |
地址: | 10008*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 卷积 神经网络 视点 数据 生成 方法 装置 | ||
本发明提出一种基于卷积神经网络的视点数据生成方法和装置,其中,方法包括:获取多种训练场景的离散视点数据集;提取针对同一个训练场景的多帧视点数据中的第一视点的第一视点数据,和第二视点的第二视点数据,并获取第一相机参数,和第二相机参数;将第一彩色图像信息、第二彩色图像信息、第一相机参数和第二相机参数输入至预设的卷积神经网络;通过卷积神经网络估算视点数据;计算第三视点数据与估算视点数据之间的损失值,完成对卷积神经网络的训练,以便于视点图像的生成。本发明结合深度信息进行联合优化产生的新视点能够拥有更稳定的信息,并减少视差变化较大产生的重影和黑洞,实现稀疏视点输入的情况下连续一致的密集视点生成。
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种基于卷积神经网络的视点数据生成方法和装置。
背景技术
基于图像的新视点渲染是三维重建及计算机视觉领域的重点问题。随着虚拟现实技术以及增强现实技术的发展和普及,从稀疏视点图像生成连续的、密集的视点,以实现视觉上的连续感和沉浸感的问题越来越受到人们的关注。当某些特定的应用场景,只能获取有限的图像,如谷歌街景只能获取用户拍摄的离散场景图像,为了能重建出连续的沉浸式的街景,稀疏视点生成稠密视点图像的算法变得尤为重要。
现有技术中,利用视点插值或深度图渲染出的新视点具有重影、空洞的缺陷,因此如何解决这一现实问题成为一个具有挑战性的议题。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的第一个目的在于提出一种基于卷积神经网络的视点数据生成方法,结合深度信息进行联合优化而产生的新视点能够拥有更稳定的信息同时减少视差变化较大产生的重影和黑洞,实现稀疏视点输入的情况下连续一致的密集视点生成。
本发明的第二个目的在于提出一种基于卷积神经网络的视点数据生成装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的,本发明第一方面实施例提出了一种基于卷积神经网络的视点数据生成方法,包括:获取多种训练场景的离散视点数据集,其中,所述离散视点数据集中每个离散视点数据包含针对同一个训练场景的多个视点的多帧视点数据,其中,所述多帧视点数据中每帧视点数据,包含对应视点下所述训练场景的彩色图像信息和深度信息;提取所述针对同一个训练场景的所述多帧视点数据中的第一视点的第一视点数据,和第二视点的第二视点数据,其中,所述多帧视点数据中包含第三视点的第三视点数据;根据所述第一视点数据和所述第二视点数据获取所述第一视点的第一相机参数,和所述第二视点的第二相机参数;将所述第一视点数据中的第一彩色图像信息、所述第二视点数据中的第二彩色图像信息、所述第一相机参数和所述第二相机参数输入至预设的卷积神经网络;通过所述卷积神经网络根据所述第一彩色图像信息、所述第二彩色图像信息、所述第一相机参数和所述第二相机参数估算所述第三视点的估算视点数据;计算所述第三视点数据与所述估算视点数据之间的损失值,当所述损失值大于预设阈值时,调整所述卷积神经网络的网络参数,直至所述损失值小于等于所述预设阈值时,完成对所述卷积神经网络的训练,以便于根据训练完成后的卷积神经网络进行视点图像的生成。
在本发明的实施例中,所述根据所述第一视点数据和所述第二视点数据获取所述第一视点的第一相机参数,包括:根据运动重构方法对所述第一视点数据估算获取所述第一相机参数;根据运动重构方法对所述第二视点数据估算获取所述第二相机参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910646645.5/2.html,转载请声明来源钻瓜专利网。