[发明专利]一种多视点深度视频处理方法有效
申请号: | 201210223251.7 | 申请日: | 2012-06-27 |
公开(公告)号: | CN102769746A | 公开(公告)日: | 2012-11-07 |
发明(设计)人: | 蒋刚毅;钱健;郁梅;朱林卫;邵枫;彭宗举;白翠霞 | 申请(专利权)人: | 宁波大学 |
主分类号: | H04N7/26 | 分类号: | H04N7/26;H04N7/30;H04N13/00 |
代理公司: | 宁波奥圣专利代理事务所(普通合伙) 33226 | 代理人: | 周珏 |
地址: | 315211 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种多视点深度视频处理方法,其首先通过对深度视频进行重组变换操作,然后将变换操作后的深度视频在时域上进行平滑处理,再对平滑处理后的深度视频进行重组逆变换操作,得到预处理后的深度视频,对预处理后的多视点深度视频进行编码压缩、解码重建操作,再对解码重建后的多视点深度视频进行深度恢复及空域平滑处理,最后利用处理后的多视点深度视频绘制虚拟视点视频图像,优点在于这种预处理方式能够提高深度视频序列的时域相关性,进而有效提高深度视频的编码效率,在编码QP=22、27、32、37的情况下,可以节省编码码率达到17.07%~38.29%,绘制得到的虚拟视点视频图像的绘制质量可提高约为0.05dB。 | ||
搜索关键词: | 一种 视点 深度 视频 处理 方法 | ||
【主权项】:
1.一种多视点深度视频处理方法,其特征在于它的处理过程为:对待处理的原始多视点深度视频进行预处理,以降低编码码率;然后对预处理后的多视点深度视频进行编码压缩、解码重建操作;再对解码重建后的多视点深度视频进行深度恢复及空域平滑处理;最后利用处理后的多视点深度视频绘制虚拟视点视频图像;其中,对解码重建后的多视点深度视频进行深度恢复及空域平滑处理的具体过程为:①将解码重建后的多视点深度视频中当前正在处理的第k帧深度图像定义为当前深度图像,并记为D'(W,H,k),其中,1≤k≤K,在此K表示解码重建后的多视点深度视频中包含的深度图像的帧数,W表示解码重建后的多视点深度视频中的深度图像的水平分辨率,H表示解码重建后的多视点深度视频中的深度图像的竖直分辨率,W×H表示解码重建后的多视点深度视频中的深度图像的分辨率;②根据对应的原始多视点彩色视频中与当前深度图像D'(W,H,k)对应的彩色图像C(W,H,k)的边界掩膜M(W,H,k)中的每个像素点的像素值,对当前深度图像D'(W,H,k)中的像素点进行深度恢复处理,然后对当前深度图像D'(W,H,k)中经深度恢复后的每个像素点进行空域平滑处理,对于当前深度图像D'(W,H,k)中坐标位置为(x,y)的像素点,判断M(W,H,k)中坐标位置为(x,y)的像素点的像素值m(x,y,k)是否为1,即判断M(W,H,k)中坐标位置为(x,y)的像素点是否为边界像素点,如果是,则对当前深度图像D'(W,H,k)中坐标位置为(x,y)的像素点进行深度恢复处理,得到深度恢复后的像素值,记为d″(x,y,k),d ′ ′ ( x , y , k ) = Σ ( a , b ) ∈ w ( x , y ) ( d ′ ( a , b , k ) × C sum ( a , b , k ) ) Σ ( a , b ) ∈ w ( x , y ) C sum ( a , b , k ) , ]]> 然后采用三边滤波对当前深度图像D'(W,H,k)中经深度恢复后的坐标位置为(x,y)的像素点进行空域平滑处理,得到空域平滑后的像素值,记为d*(x,y,k),d * ( x , y , k ) = Σ ( a , b ) ∈ w ( x , y ) ( ω ( a , b , k ) × d ′ ′ ( a , b , k ) ) Σ ( a , b ) ∈ w ( x , y ) ω ( a , b , k ) , ]]> 否则,对当前深度图像D'(W,H,k)中坐标位置为(x,y)的像素点不进行深度恢复处理,即当前深度视频D'(W,H,k)中坐标位置为(x,y)的像素点经深度恢复处理后的像素值d″(x,y,k)=d'(x,y,k),然后采用双边滤波对当前深度视频D'(W,H,k)中坐标位置为(x,y)的像素点进行空域平滑处理,得到空域平滑后的像素值,记为d*(x,y,k),d * ( x , y , k ) = Σ ( a , b ) ∈ w ( x , y ) ( ω 1 ( a , b , k ) × ω 2 ( a , b , k ) × d ′ ′ ( a , b , k ) ) Σ ( a , b ) ∈ w ( x , y ) ω 1 ( a , b , k ) × ω 2 ( a , b , k ) , ]]> 其中,1≤x≤W,1≤y≤H,w(x,y)表示当前深度图像D'(W,H,k)中以坐标位置(x,y)为中心的邻域窗口,d'(a,b,k)表示当前深度图像D'(W,H,k)中坐标位置为(a,b)的像素点的像素值,Csum(a,b,k)表示当前深度图像D'(W,H,k)中坐标位置为(a,b)的像素点在深度恢复时的权值,Csum(a,b,k)=C0(a,b,k)×(α×Sd(a,b,k)+(1-α)×Sc(a,b,k)),C 0 ( a , b , k ) = 1 N freq ( a , b , k ) × Σ l = 0 N freq ( a , b , k ) - 1 | ( a - x 0 ( l ) ) + ( b - y 0 ( l ) ) | ]]> w(a,b)表示当前深度图像D'(W,H,k)中以坐标位置(a,b)为中心的邻域窗口,δ[d'(a,b,k),d'(x1,y1,k)]表示当前深度视频D'(W,H,k)中坐标位置为(a,b)的像素点的像素值d'(a,b,k)与当前深度视频D'(W,H,k)中坐标位置为(x1,y1)的像素点的像素值d'(x1,y1,k)的相似度值,x0(l)表示w(a,b)内与中心像素点的像素值d'(a,b,k)相等的邻域像素点的横坐标,y0(l)表示w(a,b)内与中心像素点的像素值d'(a,b,k)相等的邻域像素点的纵坐标,Sd(a,b,k)=|d'(a,b,k)-d'(x1,y1,k)|,Sc(a,b,k)=|c(a,b,k)-c(x1,y1,k)|,c(a,b,k)表示C(W,H,k)中坐标位置为(a,b)的像素点的像素值,c(x1,y1,k)表示C(W,H,k)中坐标位置为(x1,y1)的像素点的像素值,α表示深度信息权值,0≤α≤1,符号“||”为取绝对值符号,ω(a,b,k)表示当前深度图像D'(W,H,k)中坐标位置为(a,b)的像素点在三边滤波时的权值,ω(a,b,k)=ω1(a,b,k)×ω2(a,b,k)×ω3(a,b,k),ω 2 ( a , b , k ) = exp ( - ( d 1 ( a , b , h ) - d 1 ( x , y , h ) ) 2 2 σ 2 2 ) , ]]>ω 3 ( a , b , k ) = exp ( - ( c ( a , b , k ) - c ( x , y , k ) ) 2 2 σ 3 2 ) , ]]> exp()表示以e=2.718281828为底的指数函数,d1(a,b,h)表示原始多视点深度视频经重组变换后得到的多视点深度视频中的第h帧深度图像中坐标位置为(a,b)的像素点的像素值,d1(x,y,h)表示原始多视点深度视频经重组变换后得到的多视点深度视频中的第h帧深度图像中坐标位置为(x,y)的像素点的像素值,1≤h≤H ,此处在“”中k的具体值与h的具体值相同,c(x,y,k)表示C(W,H,k)中坐标位置为(x,y)的像素点的像素值,d″(a,b,k)表示当前深度图像D'(W,H,k)中坐标位置为(a,b)的像素点经深度恢复处理后的像素值,σ1、σ2、σ3均表示尺度因子;③令k'=k+1,k=k',并将解码重建后的多视点深度视频中下一帧待处理的深度图像作为当前深度图像,然后返回步骤②继续执行,直至解码重建后的多视点深度视频中的所有深度图像处理完毕,其中,k'的初始值为0,在此k'=k+1,k=k'中的“=”为赋值符号。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于宁波大学,未经宁波大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201210223251.7/,转载请声明来源钻瓜专利网。
- 上一篇:一种磁短节测试装置
- 下一篇:一种设有打印控制气囊的墨盒