[发明专利]一种高适应性的彩色物体三维重建方法

摘要

本发明涉及一种高适应性的彩色物体三维重建方法，其特征在于：相机和投影仪固定在三脚支架上，并通过电缆将相机与计算机进行连接，通过电缆将投影仪与计算机进行连接；利用计算机生成一幅彩色编码结构光图案，并进行多源时序化分层处理，接着对多源时序化分层图案进行解码处理，组合得到调制的单幅彩色编码结构光图案，接着利用条纹匹配方法实现对编码特征点的匹配，最后利用三角测量方法实现编码特征点的三维深度信息值解算。实现类似单幅彩色编码结构光实现过程，而且在一定程度上减少了投影仪投射的编码图案数量。

主权项

1.一种高适应性的彩色物体三维重建方法，其特征在于：相机和投影仪固定在三脚支架上，并通过电缆将相机与计算机进行连接，通过电缆将投影仪与计算机进行连接；/n具体的重建步骤如下：/n步骤1、多源时序分层投影编码图案的设计/n步骤1.1、通过计算机对颜色码进行编码设计，选择的颜色分别为：红色(255,0,0)对应的编码序号为1，绿色(0,255,0)对应的编码序号为2，蓝色(0,0,255)对应的编码序号为3，青色(0,255,255)对应的编码序号为4，品红色(255,0,255)对应的编码序号为5，黄色(255,255,0)对应的编码序号为6，白色(255,255,255)对应的编码序号为7；利用De Bruijn的伪随机特性和颜色码序号进行生成一幅7元3级的彩色结构光条纹编码图像stru_col，其中图像stru_col的背景色为黑色信息值，彩色条纹的宽度值设定为6个像素，相邻条纹之间的间隔为3个像素，图像stru_col的分辨率为1024pixel×768 pixel；/n步骤1.2、利用openCV 2.4.10的split函数对图像stru_col进行分层处理得到三幅多源时序分层编码图像分别为stru_R，stru_G，stru_B；接着利用openCV 2.4.10中的函数cvtColor对图像stru_col进行灰度化处理得到图像stru_graysca，同时利用openCV2.4.10中的函数threshold对图像stru_graysca进行阈值和二值化的处理，得到多源时序分层编码图像stru_W，该图像只含有纯白色条纹背景为纯黑色的图像信息；/n步骤2、通过计算机将上述的多源时序分层编码图像stru_W、stru_R，stru_G，stru_B传递给投影仪进行依次投射到待测彩色物体的表面上，并通过相机对待测彩色物体表面上的调制图案信息进行采集依次得到调制图像cam_W、cam_R，cam_G，cam_B；接着关闭投影仪，利用相机采集待测彩色物体的纹理色彩信息，得到背景图像back_obj；/n步骤3、利用openCV 2.4.10的subtract函数依次将调制图像cam_W、cam_R，cam_G，cam_B分别与与背景图像back_obj进行差值运算，得到背景差值图像cam_diffW、cam_diffR，cam_diffG，cam_diffB；/n步骤4、将背景差值图像cam_diffW、cam_diffR，cam_diffG，cam_diffB中的像素点按照从上到下，从左到右的顺序分别存储在矩阵cam_marryW,cam_marryR,cam_marryG,cam_marryB中，这些矩阵大小都为N行，M列；/n步骤5、在矩阵cam_marryW中的第i行，第j列矩阵值cam_marryW(i，j)，其中i＝1,2,…N，j＝1,2…M；其存储的R通道、G通道、B通道信息值分别为mwr(i，j)、mwg(i，j)、mwb(i,j)，即cam_marryW(i，j)＝(mwr(i,j),mwg(i,j),mwb(i,j))；/n利用公式/ndif1_WR(i,j)＝mwr(i+1,j)-mwr(i-1,j)+mwr(i+2,j)-mwr(i-2,j)；/ndif1_WG(i,j)＝mwg(i+1,j)-mwg(i-1,j)+mwg(i+2,j)-mwg(i-2,j)；/ndif1_WB(i,j)＝mwb(i+1,j)-mwb(i-1,j)+mwb(i+2,j)-mwb(i-2,j)；/n对背景差值图像cam_diffW进行一阶差分处理，得到在R，G，B三个通道下的一阶滤波差分dif1_WR(i,j),dif1_WG(i,j)和dif1_WB(i，j)；/n接着利用公式，/ng_marry(i,j)＝dif1_WR(i,j)^2+dif1_WG(i,j)^2+dif1_WB(i,j)^2/n对R，G，B三个通道下的一阶滤波差分dif1_WR(i,j),dif1_WG(i,j)、dif1_WB(i，j)进行平方和处理，得到三通道的一阶滤波差分平滑和矩阵g_marry(i，j)；/n利用公式/ndif1_gm(i,j)＝g_marry(i,j)(i+1,j)-g_marry(i,j)(i-1,j)+g_marry(i,j)(i+2,j)-g_marry(i,j)(i-2,j)；/ndif2_gm(i,j)＝dif1_gm(i,j)(i+1,j)-dif1_gm(i,j)(i-1,j)+dif1_gm(i,j)(i+2,j)-dif1_gm(i,j)(i-2,j)；/n求解矩阵g_marry(i,j)的一阶差分矩阵dif1_gm(i,j)和二阶差分矩阵dif2_gm(i,j),为了能够对调制条纹的中心线进行提取，对矩阵dif1_gm(i,j)和dif2_gm(i,j)中的值进行判断，定义矩阵CI_marry；/n当满足(dif1_gm(i-1,j)>0且dif1_gm(i+1,j)<0且dif2_gm(i,j)<0)，或者满足(dif1_gm(i-1,j)<0且dif1_gm(i+1,j)>0且dif2_gm(i,j)<0)时,矩阵CI_marry(i，j)＝(255,255,255),否则矩阵CI_marry(i，j)＝(0,0,0)；/n步骤6、矩阵cam_marryR中的第i行，第j列矩阵值cam_marryR(i，j)，中i＝1,2,…N，j＝1,2…M；其存储的R通道、G通道、B通道信息值分别为mrr(i，j)、mrg(i，j)、mrb(i,j)，即cam_marryR(i，j)＝(mrr(i,j),mrg(i,j),mrb(i,j))；矩阵cam_marryG中的第i行，第j列矩阵值cam_marryG(i，j)，其中i＝1,2,…N，j＝1,2…M；其存储的R通道、G通道、B通道信息值分别为mgr(i,j)、mgg(i,j)、mgb(i,j)，即cam_marryG(i，j)＝(mgr(i,j),mgg(i,j),mgb(i,j))；矩阵cam_marryB中的第i行，第j列矩阵值cam_marryB(i，j)，其中i＝1,2,…N，j＝1,2…M；其存储的R通道、G通道、B通道信息值分别为mbr(i，j)、mbg(i，j)、mbb(i,j)，即cam_marryB(i，j)＝(mbr(i,j),mbg(i,j),mbb(i,j))；/n利用公式/nYR_marry(i,j)＝0.299*mrr(i,j)+0.587*mrg(i,j)+0.114*mrb(i,j)；/nYG_marry(i,j)＝0.299*mgr(i,j)+0.587*mgg(i,j)+0.114*mgb(i,j)；/nYB_marry(i,j)＝0.299*mbr(i,j)+0.587*mbg(i,j)+0.114*mbb(i,j)；/n得到在R通道、G通道、B通道中的亮度信息值矩阵YR_marry、YG_marry、YB_marry，定义矩阵Red_marry、Green_marry、Blue_marry，接着利用公式/ndif1_yr(i,j)＝YR_marry(i,j)(i+1,j)-YR_marry(i,j)(i-1,j)+YR_marry(i,j)(i+2,j)-YR_marry(i,j)(i-2,j)；/n得到R通道下的亮度信息值矩阵YR_marry对应的一阶滤波差分矩阵dif1_yr,/ndif2_yr(i,j)＝dif1_yr(i,j)(i+1,j)-dif1_yr(i,j)(i-1,j)+dif1_yr(i,j)(i+2,j)-dif1_yr(i,j)(i-2,j)；/n得到R通道下的亮度信息值矩阵YR_marry对应的二阶滤波差分矩阵dif2_yr,如果dif2_yr(i,j)＞0，则Red_marry(i，j)＝0；否则，Red_marry(i，j)＝255；同理，利用公式/ndif1_yg(i,j)＝YG_marry(i,j)(i+1,j)-YG_marry(i,j)(i-1,j)+YG_marry(i,j)(i+2,j)-YG_marry(i,j)(i-2,j)；/n得到G通道下的亮度信息值矩阵YG_marry对应的一阶滤波差分矩阵dif1_yg,/ndif2_yg(i,j)＝dif1_yg(i,j)(i+1,j)-dif1_yg(i,j)(i-1,j)+dif1_yg(i,j)(i+2,j)-dif1_yg(i,j)(i-2,j)；/n得到G通道下的亮度信息值矩阵YG_marry对应的二阶滤波差分矩阵dif2_yg,如果dif2_yg(i,j)＞0，则Green_marry(i，j)＝0；否则，Green_marry(i，j)＝255；/n同理，利用公式/ndif1_yb(i,j)＝YB_marry(i,j)(i+1,j)-YB_marry(i,j)(i-1,j)+YB_marry(i,j)(i+2,j)-YB_marry(i,j)(i-2,j)；/n得到B通道下的亮度信息值矩阵YB_marry对应的一阶滤波差分矩阵dif1_yb,/ndif2_yb(i,j)＝dif1_yb(i,j)(i+1,j)-dif1_yb(i,j)(i-1,j)+dif1_yb(i,j)(i+2,j)-dif1_yb(i,j)(i-2,j)；/n得到B通道下的亮度信息值矩阵YB_marry对应的二阶滤波差分矩阵dif2_yb,如果dif2_yb(i,j)＞0，则Blue_marry(i，j)＝0；否则，Blue_marry(i，j)＝255；/n步骤7、当CI_marry(i，j)＝255时，对矩阵Red_marry、Green_marry、Blue_marry中的值对矩阵CI_marry进行重新赋值，即CI_marry(i，j)＝(Red_marry(i，j)，Green_marry(i，j)，Blue_marry(i，j))；/n步骤8、通过步骤2到步骤7即可得到编码彩色结构光条纹图案在理论上对应的调制条纹图像对应矩阵CI_marry；/n步骤9、利用基于彩色结构光的匹配方法对矩阵CI_marry和图像stru_col对应的矩阵stru_marry进行匹配确认点的唯一性，接着利用结构光的三角测量原理对匹配完的点进行三维信息值解算，从而实现对彩色物体的三维重建。/n