[发明专利]一种基于一维集成成像系统的阵列图生成及填补方法

摘要

一种基于一维集成成像系统的阵列图生成及填补方法属裸眼3D显示技术领域，本发明根据几何光学及DIBR的思想，利用深度图模拟了任意位置的视点图像，先利用光流法对图像内部大块空洞进行填充，再用Criminisi图像修复算法对其他空洞进行填补；本发明结合光流法与Criminisi图像修复算法这两种算法的优势对图像进行填补，既参考了视频中不同帧的图像信息，又提高了Criminisi图像修复算法的运算速度，比起只用Criminisi图像修复算法进行空洞填补，在相同参数的设置下，本发明平均节省45.448％的时间，且填补效果更佳。

主权项

1.一种基于一维集成成像系统的阵列图生成及填补方法，其特征在于包括下列步骤：1.1 设原图像为I_original‑k，深度图为H_k，生成的带有空洞的视点图为W_k‑r，其中：k表示视频中第k帧图像；r表示第r个视点，r的取值范围是1～2*N，N为半视点数；1.1.1 根据所需要的深度效果，预设人眼能感受到的出屏深度和入屏深度，由几何光学得到：M/B＝P/(P+D)其中：B为双眼间距；M为视差，表示左右眼像之间的水平距离；P为人眼能感受到的景物深度；D为观察者与屏幕之间的距离；之后，将人眼能感受到的景物深度P进行单位变换，由毫米变成像素：经单位转换后的最大正视差，该视差将产生入屏效果：maxPM＝maxM*(a/A)；经单位转换后的最大负视差，该视差将导致出屏效果：maxNM＝‑abs(maxM)*(a/A)其中：abs(maxM)＝maxP*B/(D‑maxP)；a为屏幕的水平分辨率；A为屏幕的水平宽度；1.1.2 将深度值均匀量化到人眼能感受到的景物深度上，将其转化为视差值，转换公式为：d(i,j)＝(maxNM‑maxPM)/255*H(i,j)+maxPM其中：d(i,j)为坐标(i,j)点所对应的视差值；H(i,j)为点(i,j)所对应的深度值；由此可知，当深度值为0时，对应正视差maxPM；当深度值为255时，对应负视差maxNM；1.1.3 对原视频图像中的每个像素点根据视差值进行平移，即可获取任意视点图像：I_N‑x+1(i,j‑d(i,j)*x/2N)＝I_original‑k(i,j)、I_N+x(I,j+d(i,j)*x/2N)＝I_original‑k(i,j)将视点按照相对原图像从左至右的方向编号，视点总数为2*N个，该视点图像为第x个视点图像；1.2 统计在图W_k‑r中，由I_original‑k映射到W_k‑r(i,j)的点的个数(n)和它们的坐标I_original‑k(x₁,y₁)、I_original‑k(x₂,y₂)、...I_original‑k(x_n,y_n)；当n＝0时，令W_k‑r(i,j)＝0，即为空洞点；当n＝1时，令W_k‑r(i,j)＝I_{originial‑k}(x,y)；当n＝2时，令当n>2时，取I_original‑k(x₁,y₁)、I_original‑k(x₂,y₂)、...I_original‑k(x_n,y_n)中的深度的最大值H_original‑k(i,j)，令W_k‑r(i,j)＝I_original‑k(x_p,y_p)(1≤p≤n)；1.3 将n＝0的点，即空洞点的像素值设为0，其它为255，得到mask_k‑r图像；mask_k‑r图像将直观地反映出W_k‑r图像中空洞的分布情况；1.4.利用光流法对初步生成的视点图进行空洞填补包括下列步骤：1.4.1 提取出图像mask_k‑r内部大面积空洞的边缘，设第i行空洞的边缘点分别为(i,a)和(i,b)，设a<b，设参考帧图片为原视频中的第三帧，即图像I_original‑3，利用LK光流法即稀疏光流法对W_k‑r和图I_original‑3进行计算，得到每个像素点在水平和垂直两个方向上的运动速度，分别为ofv和ofh；1.4.2 将(i,a)左侧与(i,b)右侧的深度值进行比较，若(i,a)左侧的深度值小，则说明其与观察者的距离更远，是图像的背景部分；1.4.3 估算空洞部分的光流值,取(i,a)左侧7个像素的水平运动速度与垂直运动速度，求其平均值，作为该行空洞的水平运动速度和垂直运动速度，即：1.4.4 设对应像素点的位移为Δx、Δy，当a<j<b时，空洞处的水平位移为：Δx＝ofh(i,j)×10，竖直位移为：Δy＝ofv(i,j)×10，求得空洞处在I_original‑3的映射块：W_k‑r(i,j)＝I_original‑3(i+Δx,j+Δy)；1.5 利用Criminisi图像修复算法处理图像包括下列步骤：1.5.1 用Criminisi图像修复算法处理W_k‑r图像，由于原图像大小为436*1024像素，根据原图像大小设定Criminisi图像修复算法中的单位像素块为半径为12‑‑20像素的单位块。