[发明专利]多投影仪自由立体显示的逐像素响应的亮度校正方法

权利要求书

1.多投影仪自由立体显示的逐像素响应的亮度校正方法，其特征在于，依次含有以下步骤：

步骤(1)：组建一个具有I＝2的两个视点图像的变分辨率多投影仪自由立体显示系统，包括：一个投影仪阵列、一个自由立体显示屏幕，下面简称屏幕、一台数码相机、一个服务器和多个客户端计算机，其中，投影仪阵列有24台DLP投影仪组成，每个视点图像用Nr×Nc个DLP投影仪在自由立体显示屏幕上按Nr行Nc列的方式拼接显示，Nr＝3，Nc＝4；客户端计算机具有12台，每台客户端计算机控制两台所述DLP投影仪；

步骤(2)：所述服务器对所述多投影仪自由立体显示系统进行几何校正，步骤如下：

步骤(2.1)：通过各客户端在每个投影仪帧缓存的投影仪空间分别显示按设定的等间距分布的特征点组成的图像，形成投影仪空间初始网格meshp_ij，i表示视点的序号，i＝1，2，j表示每个视点i中所对应的所述DLP投影仪的序号，j＝1，2，…，11，12；再用所述数码相机分别获取每个视点对应各台所述DLP投影仪的特征点图像投影在所述屏幕上形成的屏幕特征点图像，形成屏幕空间的初始网格meshd_ij；

步骤(2.2)：按下式计算所述第i个视点中第j个投影仪在所述屏幕上的校正区域dispW_ij，

dispW_ij＝I(dispA_ij，rect)，i＝0，1，j＝1，2，…，11，12     (1)

其中，dispA_ij为第i个视点中第j个投影仪在屏幕上的显示区域，rect是所述屏幕上组合显示的区域，

rect=Ii=1Nv(inrect(Uj=1Nr×NcdispAij))---(2)]]>

第i个视点中共12个DLP投影仪在所述屏幕上显示区域的总和用表示，inrect是一个求给定区域的内接矩形的函数；

步骤(2.3)：在第i个视点中第j个DLP投影仪在所述屏幕上显示的校正区域dispW_ij中重新生成按所述等间距设定的特征点并组织成所述校正区域dispW_ij在所述屏幕空间的校正网格meshnd_ij；再根据所述屏幕空间的校正网格meshnd_ij的顶点D的坐标(D_u，，D_v)计算其对应的投影仪空间校正网格meshnp_ij点D′的坐标(D_x′，D_y′)；

当所述屏幕空间的校正网格meshnd_ij的顶点D(D_u，，D_v)的面积坐标为(m，k，w)时，

m=S(ΔABD)S(ΔABC)=AuBuDuAvBvDv111AuBuCuAvBvCv111,k=S(ΔDBC)S(ΔABC)=DuBuCuDvBvCv111AuBuCuAvBvCv111,w=S(ΔADC)S(ΔABC)AuDuCuAvDvCv111AuBuCuAvBvCv111---(3)]]>

其中，ΔABC为D点在所述初始网格meshd_ij中所在的三角形，m是ΔABC的内三角形ΔABD与该三角形ΔABC的面积之比，k是ΔABC的内三角形ΔDBC与该三角形ΔABC的面积之比，w是ΔABC的内三角形ΔADC与该三角形ΔABC的面积之比，(A_u，A_v)、(B_u，B_v)及(C_u，C_v)为ΔABC的三个顶点坐标；

所述投影仪空间校正网格meshnp_ij点D′的坐标(D_x′，D_y′)为

Dx′=m×Ax′+k×Bx′+w×Cx′Dy′=m×Ay′+k×By′+w×Cy′---(4)]]>

其中，ΔA′B′C′为在所述网格meshp_ij中与所述网格meshd_ij的ΔABC所对应的三角形，ΔA′B′C′的三个顶点坐标分别为(A_x′，A_y′)、(B_x′，B_y′)、(C_x′，C_y′)。

步骤(2.4)：按下式计算所述服务器通过各客户端分配给第i个视点中第j个DLP投影仪的校正网格meshnp_ij的图像的起始位置(x^ijstart，y^ijstart)、宽高width_ij和height_ij，以及分配给所述校正网格meshnp_ij的第e顶点的纹理坐标(xx_ije，yy_ije)；

xijstart=[(uijmin-umin)/(umax-umin)]×wdyijstart=[(vijmin-vmin)/(vmax-vmin)]×hd---(5)]]>

widthij=[(uijmax-uijmin)/(umax-umin)]×wdheightij=[(vijmax-vijmin)/(vmax-vmin)]×hd---(6)]]>

xxije=(uije-uijmin)/(uijmax-uijmin)yyije=(vije-vijmin)/(vijmax-vijmin)---(7)]]>

其中，width_ij和heigh_ij是所述服务器分配给第i个视点中第j个DLP投影仪的校正网格meshnp_ij的图像的宽和高，wd和hd为所述屏幕上要拼接显示的图像在投影之前的宽和高，(u_min，v_min)和(u_max，v_max)是所述屏幕上组合显示区域rect的左下角和右上角的顶点坐标，u^ij_min，u^ij_max，v^ij_min和v^ij_max分别是校正区域dispW_ij的四个顶点坐标中横坐标的最小、最大值和纵坐标的最小、最大值，(u_ije，v_ije)是校正网格meshnp_ij中第e个顶点对应的屏幕的屏幕空间的坐标，i＝1，2，j＝1，2，…，Nr*Nc；

步骤(2.5)：服务器将程序中各客户端要组合显示的每一幅图像，按步骤(2.4)计算得到的起始位置、大小截取相应的子图像分配给对应的客户端计算机，以便将分配的子图像按计算的所述纹理坐标映射到对应的几何校正网格meshnp^ij上，再用投影仪投影输出，在所述屏幕上得到几何对齐的拼接效果；

步骤(3)：依次按以下步骤采用亮度融合方法对所述多投影仪自由立体显示系统中所述屏幕上各DLP投影仪重叠区域的边缘的亮度进行过渡衰减；

步骤(3.1)：按下式计算第i个视点中第j个投影仪的投影仪空间各点(x，y)处的亮度校正值A_ij(x，y)，拼成该第j个投影仪的亮度校正模板：

Aij(x,y)=(aij(u,v)Σj′=1Nr×Ncaij′(u,v))1/γ---(8)]]>

其中，(u，v)是第i个视点第j个DLP投影仪的投影仪空间(x，y)对应的屏幕空间坐标，i＝1，2，j＝1，2，…，Nr*Nc，γ＝2.4，a_ij(u，v)是第i个视点第j个投影仪的校正区域dispW_ij中屏幕空间点(u，v)到其四个边界的距离最小值，j′＝1，2，…，Nr*Nc，但j′≠j且校正区域dispW_ij与校正区域dispW_ij’有重叠区域，a_ij’(u，v)是第i个视点第j′个投影仪的校正区域dispW_ij’中屏幕空间点(u，v)到其四个边界的距离最小值，在非重叠区域a_ij’(u，v)＝0；

步骤(3.2)：将投影仪几何校正后图像的每一点的值和亮度校正模板中每一点的值对应相乘后再投影输出，从而得到投影仪重叠区域亮度衰减的组合显示；

步骤(3.3)：把每个视点相关的所有DLP投影仪按步骤(1)和步骤(2)进行几何和亮度校正后的投影仪图像作为一个虚拟投影仪的投影图像；

步骤(4)：依次按以下步骤计算每个所述虚拟投影仪的每个像素位置上对应每个采样亮度输入的辐照度数值；

步骤(4.1)：在亮度值的区间[0，255]中按一定的间隔取K个采样点，为了便于后面的存储计算，平衡时间和精度，取K＝30，按下式计算30个采样点的亮度值SL_k，

SLk=8×(k-1)1≤k≤158×(k+2)15<k≤29255k=30,]]>k＝1，2…K

                                            (9)

步骤(4.2)：生成大小为xRes x yRes的K个图像，K＝30，其中，xRes＝1024，yRes＝768；第k个图像I_k中每点的亮度相同，都为第k个采样亮度值SL_k，k＝1，2…K；在0.02s-2.0s之间取S个曝光时间Δt_s，s＝1，2，…，S，其中S＝16；

步骤(4.3)：对所有的虚拟投影仪和第二步生成的所有图像重复下述步骤(4.3.1)～步骤(4.3.2)，得到每个虚拟投影仪中的每个像素上对应每个采样亮度输入的辐照度数值；

步骤(4.3.1)：对于步骤(3.3)中所述的第i个虚拟投影仪显示步骤(4.2)生成的第k个图像I_k在屏幕上的投影结果，在对相机分别设定曝光时间为Δt_s，s＝1，2，…，S，后进行拍照，得到S′个大小为xcRes x ycRes的图像，其中，S′＝S，xcRes和ycRes分别是相机图像的宽和高，xcRes＝2288，ycRes＝1520；

步骤(4.3.2)：用设定曝光时间Δt_s的相机进行拍照获取步骤(4.3.1)所述图像中第p个点的亮度值Z_ps和该点的辐照度E_p，

lnEp=Σs=1Sw(zps)(g(Zps)-lnΔtS)Σs=1Sw(Zps),]]>p＝1，2...P              (10)

其中，P为每个图像中的像素个数，P＝2288*1520，函数g(Z_ps)是Z_ps和E_p和Δt_s的对数函数的映射关系，

g(Z_ps)＝lnE_p+lnΔt_s              (11)

w(Z_ps)是分配给亮度Z_ps的权重，

w(Zps)=Zps-ZminZps≤ZmidZmax-ZpsZps>Zmid---(12)]]>

步骤(4.3.3)：为了在屏幕空间得到和所述虚拟投影仪的输入位置一一对应的输出，对每个所述DLP投影仪把步骤(4.3.2)计算得到的对应的各所述辐照度图像映射到一个网格上，并且把这些网格上的辐照度图像叠加在一起得到虚拟投影仪的输出；网格上每个顶点的坐标(x，y)和纹理坐标(tex_x，tex_y)分别为

x=(Du-minx)/(maxx-minx)*xResy=(Dv-miny)/(maxy-miny)*yRes---(13)]]>

tex_x=Du/xcRestex_y=Dv/ycRes---(14)]]>

其中，(D_u，D_v)是每个投影仪的校正网格上的顶点在屏幕空间的坐标，(minx，miny)和(maxx，maxy)分别是整个校正区域的左上角和右下角在屏幕空间的坐标，xRes和yRes分别是要组合显示的图像的宽和高，xcRes和ycRes分别是相机图像的宽和高；

步骤(5)：在虚拟投影仪的每个像素上生成K个点P_k，k＝0，1，…K-1，K＝30，其中，第k个点P_k的横坐标为该像素处第k+1个采样亮度值，纵坐标为该像素处对应该采样亮度值输入计算得到的辐照度数值；为了得到连续的输入输出亮度的对应关系，计算得到过这K个点的三次均匀B样条插值曲线，并通过下式得到B样条曲线的控制点，

6-60141141OOO1410-66V0V1V2MVKVK+1=0P0P1MPK-10---(15)]]>

其中，V₀，V₁，...，V_K+1是控制点。用追赶法求解上式中的三对角矩阵方程，得到三次均匀B样条插值曲线的控制点V₀，V₁，...，V_K+1；

步骤(6)：计算屏幕空间中视觉一致的最小亮度曲面中任意一点(u，v)处的亮度值为

L′(u,v)=max(Lmin(u,v),λ×|Lmin(u,v)-Lmin(u′,v′)||u-u′|2+|v-v′|2)---(16)]]>

其中，Lmin(u，v)为虚拟投影仪显示最小的采样亮度SL_min生成的图像时对应的亮度输出图像在(u，v)坐标处的亮度，(u’，v’)是(u，v)的邻近点，Lmin(u’，v’)为虚拟投影仪显示最小的采样亮度SL_min生成的图像时对应的亮度输出图像在(u’，v’)坐标处的亮度，λ为视觉感知系数，λ＝50，max是求最大值的函数；

计算屏幕空间中视觉一致的最大亮度曲面中任意一点(u，v)处的亮度值为

L′′(u,v)=min(Lmax(u,v),λ×|Lmax(u,v)-Lmax(u′,v′)||u-u′|2+|v-v′|2)---(17)]]>

其中，Lmax(u，v)为虚拟投影仪显示最大的采样亮度SL_max生成的图像时对应的亮度输出图像在(u，v)坐标处的亮度，(u’，v’)是(u，v)的邻近点，Lmax(u’，v’)为虚拟投影仪显示最大的采样亮度SL_max生成的图像时对应的亮度输出图像在(u’，v’)坐标处的亮度；

步骤(7)：依次按以下步骤根据虚拟投影仪每一点(x，y)处的要显示的图像的亮度计算该点在对应的B样条曲线上的输入亮度的过程如下：

步骤(7.1)：将每个像素位置的B样条曲线的控制点分别打包成小纹理，将所有的这些小纹理合成一个大的控制点纹理；对每个B样条曲线计算得到32个控制点；每个控制点的横坐标和纵坐标分别占纹理中的一个通道；对于4个通道的二维纹理，32个控制点需要的纹理大小为32*2/4＝16；为了便于纹理坐标的计算，小纹理按4行4列的方式存储。大纹理按yRes行xRes列的方式存储每个小纹理，其中，xRes*yRes为显示设备的分辨率；所以大的控制点纹理的大小为(xRes*4)*(yRes*4)；

步骤(7.2)：在虚拟投影仪的每一像素位置(x，y)处，重复下面的步骤(7.2.1)～步骤(7.2.4)，得到每一点亮度校正后的亮度输入；通过改变输入的亮度值，得到一致的亮度输出；

步骤(7.2.1)：将该点的输出亮度范围压缩到视觉一致的最小和最大亮度曲面在该点的亮度值之间的区间上，得到视觉一致的亮度输出Wl(x，y)，

Wl(x，y)＝Lmin(x，y)+Ol(x，y)/255.0*(Lmax(x，y)-Lmin(x，y))   (18)

其中，Ol(x，y)是要组合显示的图像在该点的亮度，Lmin(x，y)为虚拟投影仪显示最小的采样亮度SL_min生成的图像时对应的亮度输出图像在该点的亮度，Lmax(x，y)是虚拟投影仪显示最大的采样亮度SL_max生成的图像时对应的亮度输出图像在该点的亮度；

步骤(7.2.2)：根据前面计算得到的(x，y)点的三次均匀B样条曲线的控制点，用下式计算三次均匀B样条曲线的第c段函数的两个端点P_c(0)和P_c(1)，

Pc(t)=1tt2t3161410-30303-630-13-31VcVc+1Vc+2Vc+3,]]>0≤t≤1，c＝0，1，...，K-1       (19)

其中，t为B样条曲线的系数参数，c是函数段的索引号，P_c(t)为B样条曲线的第c段函数区间上的各个点，V_c，V_c+1，V_c+2，V_c+3分别是B样条曲线的索引号为分别为c，c+1，c+2，c+3的控制点；根据这些端点P_c(0)和P_c(1)，找到函数区间的索引号c，使得Wl(x，y)在第c段函数的两个端点的纵坐标值所形成的区间内；

步骤(7.2.3)：用二分法计算(x，y)点亮度校正后的输入亮度Nl(x，y)：以[0，1]为参数t初始区间，通过取区间中点tm，把原来的区间一分为二；用式(19)计算参数t＝tm时B样条曲线上的点的纵坐标E_p；如果Ep＜Wl(x，y)，新区间为左边的一半区间；如果Ep＞Wl(x，y)，新区间为右边的一半区间；不断地把区间一分为二，迭代上述过程，直到区间范围小于一个设定的误差值；取参数t为迭代到最后所得到的区间的中点值，用式(18)计算B样条曲线上的点的横坐标值，该值就是Wl(x，y)对应的输入亮度Nl(x，y)；

步骤(7.2.4)：Nl(x，y)乘以在步骤(3)中得到的亮度校正模板，得到每个投影仪的最终的亮度输入；通过改变输入的亮度值，得到一致的亮度输出。