[发明专利]用于生成虚拟视点图像的设备和方法

说明书

相关申请的交叉引用

本申请要求2016年7月7日提交的韩国专利申请第10-2016-0086054号的权益，通过引用由此将其全部合并在该申请中。

技术领域

本发明一般涉及用于生成虚拟视点图像的技术，并且更具体地，涉及用于使用与不同视点对应的基础图像与参考图像之间的几何关系、生成从虚拟视点观看的图像的技术。

背景技术

“虚拟视点图像”意味着从虚拟视点观看的图像，其不是使用捕获装置实际捕获的，而是使用利用捕获装置所捕获的现有图像生成的。

基本上，按照这样的方式生成虚拟视点图像，使得使用利用捕获装置获取的参考图像的几何信息，将点映射到目标虚拟视点的位置，并且使用另一参考图像对没有映射的封闭(occluded)区域中的点进行映射。然后，利用附近的类似信息执行内插，由此最终生成与虚拟视点对应的虚拟视点图像。这里，参考图像的几何信息可包括用于校准捕获装置的信息、关于个别像素的深度或视差的信息、等等。

在根据传统技术的方法中，假设参考图像具有相同尺寸，假设用于代表参考图像之间的几何信息的深度信息或视差信息具有其间的一一对应性，并且通过基于像素的映射来合成图像。

因为以像素为基础来执行映射，所以任何像素的不精确深度信息或不精确视差值可引起大量像素噪声。一般来说，当使用立体匹配方法基于两个图像之间的所有像素的相似度而获得对应点时，难以获取精确结果。

而且，获取所有像素的深度信息或视差值并利用获取的信息生成图像的处理是耗时的。所以，当必须实时生成虚拟视点图像时，可存在质量和计算负荷之间的有问题的折衷。

即，必须通过研究除了传统的基于像素的映射方法之外的方法，而开发可降低生成虚拟视点图像所花费的时间量的技术。与此相关，韩国专利申请公开号10-2014-0022300公开了涉及“Method and apparatus for creating multi-view image”的技术。

发明内容

本发明的目的是提供与没有从中捕获图像的视点对应的虚拟视点图像。

本发明的另一目的是与传统的基于像素的映射技术相比降低计算负荷。

本发明的另一目的是通过作为组处理具有区域特性的相邻像素、而生成鲁棒虚拟视点图像。

本发明的另一目的是防止归因于基于块的映射的成块伪影，以由此生成看上去自然的虚拟视点图像。

为了实现以上目的，根据本发明的一种用于生成虚拟视点图像的设备包括：分段图像生成单元，用于将与不同视点对应的基础图像和参考图像的每一个分段为片段单元；视差计算单元，用于通过计算被分段为片段单元的基础图像和参考图像之间的视差值，来生成基础视差图像和参考视差图像；图像映射单元，用于使用视差值将基础视差图像和参考视差图像映射到虚拟视点；和虚拟视点图像生成单元，用于通过合成其中将基础视差图像映射到虚拟视点的第一映射图像和其中将参考视差图像映射到虚拟视点的第二映射图像，而生成与该虚拟视点对应的虚拟视点图像。

这里，该图像映射单元可基于基础视差图像和参考视差图像执行后向映射。

这里，该图像映射单元可基于块单元执行映射，该块单元的尺寸等于或大于该片段单元的尺寸。

这里，该图像映射单元可通过分派取决于基础视差图像或参考视差图像的片段中的中心点与另一像素之间的距离的映射权重，来执行映射。

这里，该图像映射单元可使用基础图像、基础视差图像、参考图像、和参考视差图像中的至少两个来执行映射。

这里，当使用从基础图像、基础视差图像、参考图像、和参考视差图像中选择的三个图像执行映射时，该图像映射单元可通过向基础图像和参考图像的每一个分派混合权重，来执行映射。

这里，可使用基础图像的视点和虚拟视点之间的距离以及参考图像的视点和虚拟视点之间的距离中的至少一个，来计算混合权重。

这里，该虚拟视点图像生成单元可通过向第一映射图像和第二映射图像中的每一个分派合成权重，来生成虚拟视点图像。

这里，可使用基础图像的视点和虚拟视点之间的距离以及参考图像的视点和虚拟视点之间的距离中的至少一个，来设置合成权重。

这里，可使用映射到与同一像素对应的位置的、基础图像中的像素值和参考图像中的像素值之间的误差值，来设置合成权重。

这里，该设备可进一步包括图像内插单元，用于填充虚拟视点图像中的洞。

这里，该图像内插单元可使用基于与该洞对应的空间轴和时间轴中的至少一个相邻的区域中的像素的值，来填充该洞。