[发明专利]视差层次最大化的虚拟视点图像生成方法

权利要求书

1.一种视差层次最大化的虚拟视点图像生成方法，利用正视差、负视差形成三维立体画面的入屏与出屏，其特征在于：以真实场景的深度信息为引导，利用深度值的直方图统计值来决定虚拟视点成像平面的合理位置，根据该位置上的虚拟视点图像绘制结果便可合成三维立体画面；其中真实场景图像RSI的水平分辨率为M像素、垂直分辨率为N像素，真实场景图像RSI对应的场景深度图像DSI的水平分辨率为M像素、垂直分辨率为N像素，具体实现步骤如下：

步骤S1、根据场景深度图像DSI中第i行第j列像素点的深度值DSI(i,j)，统计得到深度值0至深度值255的深度个数统计序列DVS＝{DVS(0),DVS(1),DVS(2),……,DVS(254),DVS(255)}，其中：i、j均为整数，且i∈[1,N]、j∈[1,M]；

步骤S2、以深度个数统计值DVS(f)＝ε为过滤条件，对深度个数统计序列DVS＝{DVS(0),DVS(1),DVS(2),……,DVS(254),DVS(255)}进行置零操作，即：如果深度个数统计值DVS(f)＝ε时，则使优化的深度个数统计值FVS(f)＝0，否则，令优化的深度个数统计值FVS(f)＝DVS(f)，得到深度个数统计序列FVS＝{FVS(0),FVS(1),FVS(2),……,FVS(254),FVS(255)}，其中：f、ε均为整数，且f∈[0,255]、ε∈[0,M×N]；

步骤S3、遍历深度个数统计序列FVS＝{FVS(0),FVS(1),FVS(2),……,FVS(254),FVS(255)}，得到：深度个数统计序列FVS中非零个数的最小深度值minDepth＝min(FVS)、深度个数统计序列FVS中非零个数的最大深度值maxDepth＝max(FVS)，则零视差对应的深度值BDepth＝Round((minDepth+maxDepth)/2.0)，其中：min()为取最小值操作、max()为取最大值操作、Round()为四舍五入取整操作；

步骤S4、设定视点图像生成的可变参数量为：左右视点之间的瞳距PDistance等于pds毫米，深度可视范围DDistance等于dds毫米，左右视点与零视差对应深度平面的垂直距离VDistance等于vds毫米，视差反比调制因子PFactor等于pf毫米，成像基准偏移量BOffset等于bos毫米(bos＝pds/2.0)；

步骤S5、初始化左视点三通道虚拟视点图像VDL、右视点三通道虚拟视点图像VDR为纯黑图像即：RGB三个通道均赋值为0，虚拟视点图像VDL和虚拟视点图像VDR的水平分辨率为M像素、垂直分辨率为N像素；

步骤S6、创建左视点图像绘制的标记矩阵DSL、右视点图像绘制的标记矩阵DSR，并为标记矩阵DSL和标记矩阵DSR的每一个矩阵元素赋值为-1.0，标记矩阵DSL和标记矩阵DSR二者的元素个数均为M列、N行；

步骤S7、遍历真实场景图像RSI的每一个像素点RSI(i,j)，通过表达式EQ1计算得到临时变量值EV1(i,j)、表达式EQ2计算得到临时变量值EV2(i,j)、表达式EQ3计算得到临时变量值EV3(i,j)、表达式EQ4计算得到临时变量值EV4(i,j)，再利用表达式EQ5计算得到像素点RSI(i,j)对应于虚拟视点图像VDL的像素点水平位置NPL(i,j)；

表达式EQ1：EV1(i,j)＝(DDistance*(255.0-BDepth)+VDistance)

表达式EQ2：EV2(i,j)＝(PFactor*(j-M/2.0)+BOffset)

表达式EQ3：EV3(i,j)＝(DDistance*(255.0-DSI(i,j))+VDistance)

表达式EQ4：EV4(i,j)＝(EV1(i,j)*EV2(i,j)/EV3(i,j)-BOffset+PFactor*M/2.0)

表达式EQ5：NPL(i,j)＝Round(EV4(i,j)/PFactor)

其中：i、j均为整数，且i∈[1,N]、j∈[1,M]，Round()为四舍五入取整操作；

步骤S8、如果像素点水平位置NPL(i,j)＝1、NPL(i,j)＝M，并且DSL(i,NPL(i,j))0，或者DSL(i,NPL(i,j))＝DSI(i,j)，则通过表达式EQ6、表达式EQ7、表达式EQ8对虚拟视点图像VDL进行像素点VDL(i,NPL(i,j))颜色值的赋值更新，通过表达式EQ9对标记矩阵DSL进行绘制深度DSL(i,NPL(i,j))的数据更新；

表达式EQ6：VDL(i,NPL(i,j))-R＝RSI(i,j)-R

表达式EQ7：VDL(i,NPL(i,j))-G＝RSI(i,j)-G

表达式EQ8：VDL(i,NPL(i,j))-B＝RSI(i,j)-B

表达式EQ9：DSL(i,NPL(i,j))＝DSI(i,j)

利用步骤S7和步骤S8对真实场景图像RSI的每一个像素点RSI(i,j)进行计算后，便可得到左视点三通道虚拟视点图像VDL的生成图像，其中：i、j均为整数，且i∈[1,N]、j∈[1,M]；

步骤S9、遍历真实场景图像RSI的每一个像素点RSI(i,j)，通过表达式EQ10计算得到临时变量值EV5(i,j)、表达式EQ11计算得到临时变量值EV6(i,j)、表达式EQ12计算得到临时变量值EV7(i,j)、表达式EQ13计算得到临时变量值EV8(i,j)，再利用表达式EQ14计算得到像素点RSI(i,j)对应于虚拟视点图像VDR的像素点水平位置NPR(i,j)；

表达式EQ10：EV5(i,j)＝(DDistance*(255.0-BDepth)+VDistance)

表达式EQ11：EV6(i,j)＝(PFactor*(j-M/2.0)-BOffset)

表达式EQ12：EV7(i,j)＝(DDistance*(255.0-DSI(i,j))+VDistance)

表达式EQ13：EV8(i,j)＝(EV5(i,j)*EV6(i,j)/EV7(i,j)+BOffset+PFactor*M/2.0)

表达式EQ14：NPR(i,j)＝Round(EV8(i,j)/PFactor)

其中：i、j均为整数，且i∈[1,N]、j∈[1,M]，Round()为四舍五入取整操作；

步骤S10、如果像素点水平位置NPR(i,j)＝1、NPR(i,j)＝M，并且DSR(i,NPR(i,j))0，或者DSR(i,NPR(i,j))＝DSI(i,j)，则通过表达式EQ15、表达式EQ16、表达式EQ17对虚拟视点图像VDR进行像素点VDR(i,NPR(i,j))颜色值的赋值更新，通过表达式EQ18对标记矩阵DSR进行绘制深度DSR(i,NPR(i,j))的数据更新；

表达式EQ15：VDR(i,NPR(i,j))-R＝RSI(i,j)-R

表达式EQ16：VDR(i,NPR(i,j))-G＝RSI(i,j)-G

表达式EQ17：VDR(i,NPR(i,j))-B＝RSI(i,j)-B

表达式EQ18：DSR(i,NPR(i,j))＝DSI(i,j)

利用步骤S9和步骤S10对真实场景图像RSI的每一个像素点RSI(i,j)进行计算后，便可得到右视点三通道虚拟视点图像VDR的生成图像，其中：i、j均为整数，且i∈[1,N]、j∈[1,M]；

步骤S11、根据左视点图像绘制的标记矩阵DSL取值，如果标记矩阵值DSL(i,j)0，则可以确定左视点三通道虚拟视点图像VDL的对应点VDL(i,j)属于空洞区域，利用均匀网格填补算法对空洞区域进行填补，即可得到视差层次最大化的左视点绘制图像VFL，其中：i、j均为整数，且i∈[1,N]、j∈[1,M]；

步骤S12、根据右视点图像绘制的标记矩阵DSR取值，如果标记矩阵值DSR(i,j)0，则可以确定右视点三通道虚拟视点图像VDR的对应点VDR(i,j)属于空洞区域，利用均匀网格填补算法对空洞区域进行填补，即可得到视差层次最大化的右视点绘制图像VFR，其中：i、j均为整数，且i∈[1,N]、j∈[1,M]；

通过以上具体实现步骤，即可利用真实场景图像和场景深度图像，根据深度信息的统计特性和视差成像特性，绘制得到具有视差层次最大化性质的左右虚拟视点图像。