[发明专利]一种基于多方向预测的虚拟视角图像空洞填补方法有效
申请号: | 201610451621.0 | 申请日: | 2016-06-21 |
公开(公告)号: | CN106028020B | 公开(公告)日: | 2017-11-17 |
发明(设计)人: | 朱树元;於景瞵;李明宇 | 申请(专利权)人: | 电子科技大学 |
主分类号: | H04N13/00 | 分类号: | H04N13/00 |
代理公司: | 电子科技大学专利中心51203 | 代理人: | 曾磊 |
地址: | 611731 四川省成*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 多方 预测 虚拟 视角 图像 空洞 填补 方法 | ||
朱树元 於景瞵 李明宇(电子科技大学)
技术领域
本发明属于三维视频处理领域,主要涉及一种基于多方向预测的虚拟视角图像空洞填补方法。
背景技术
通常情况下,将二维视频转化为三维视频所采用的方法是使用三维绘制技术在二维视频图像的基础上生成左、右两个视角图像,并分别提供给左眼和右眼交替观看,由此产生三维视觉的效果。如今最流行的三维绘制技术是基于深度图的绘制算法(Depth-image-based Rendering,DIBR),详细过程见参考文献“Depth-image-based rendering(DIBR),compression and transmission for a new approach on 3D-TV”。在将二维视频转化为三维视频的过程中,使用基于深度图的绘制技术所产生的虚拟视角能够根据观众的要求调整左、右视角的视差,因此大大增强了观众的视觉体验。但这种方法也存在一个缺陷,即合成的虚拟视角图像中会有空洞产生。产生空洞的主要原因是因为原始图像中前景对背景的遮挡部分在虚拟视角中被暴露出来,而在原始图像中没有此部分的视图信息,这样就会在虚拟视角图像上形成像素点的缺失。因此,对空洞进行填补是完整恢复虚拟视角图像的重要步骤。
目前常用的空洞填补算法有两类:一类是根据相邻像素点的亮度值和偏移量对空洞部分进行插值处理,并且在进行三维绘制之前通常会对相应的深度图像进行滤波处理,使深度图像的前景与背景边缘区域更加平滑,这样绘制出的虚拟视角图像中空洞范围会变小,且易于填补。这类基于插值的方法实现起来较为简单,但会引起合成后视角图像中物体的几何失真,特别是在物体的垂直边界区域,物体的扭曲失真幅度会非常大。另一类方法是基于深度图像修复技术的空洞填补算法,也是目前比较流行的空洞填补算法,虽然这类方法取得了不错的处理效果,但算法复杂度较高,需要根据纹理特征对空洞区域进行匹配块搜索,由此造成搜索时间过长、计算复杂度过高,造成硬件实现起来比较困难。
发明内容
针对目前空洞填补方法耗时过长和进行深度图滤波时易导致边界失真的缺点,本发明提供了一种基于多方向预测的虚拟视角图像空洞填补方法,能够在保证图像修复效果的前提下快速完成虚拟视角的空洞填补。
为了方便描述本发明的内容,首先做以下术语定义:
定义1,标准的三维绘制
标准的三维绘制是运用基于深度图的绘制算法将原始视角图像和对应的深度图像生成目标虚拟视角图像的方法;详细过程见参考文献“Depth-image-based rendering(DIBR),compression and transmission for a new approach on 3D-TV”;
定义2,标准的图像边框像素点复制法
标准的图像边框像素点复制法是通过图像边框相邻的像素点做参考对边框部分进行修复,详细过程为:
对图像边框进行扫描,当扫描到边框空洞点P时,搜索相邻的非空洞参考像素点,记为M,使用M对空洞点进行赋值,即P=M。当前空洞点填补完成后,继续此过程直到所有空洞点填补完成;
本发明提供一种基于多方向预测的虚拟视角图像空洞填补方法,它包括以下步骤:
步骤1,输入图像初始化
首先,将输入的原始图像记为X,这里,xi,j是图像X中的像素点,i代表X中像素点的横坐标,j代表X中像素点的纵坐标,W1代表X的宽度,H1代表X的高度,i、j、W1和H1都是自然数,并且1≤i≤H1,1≤j≤W1;
然后,将输入的原始图像X的深度图像记为Y,这里,yu,v是图像Y中的像素点,u代表Y中像素点的横坐标,v代表Y中像素点的纵坐标,W2代表Y的宽度,H2代表Y的高度,u、v、W2和H2都是自然数,并且1≤u≤H2,1≤v≤W2;
步骤2,产生虚拟视角图像
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于电子科技大学,未经电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610451621.0/2.html,转载请声明来源钻瓜专利网。