[发明专利]一种基于多视角双目结构光的水下三维重建方法

权利要求书

1.一种基于多视角双目结构光的水下三维重建方法，其特征在于，包括以下方法步骤：

S1、相机参数标定，首先调整相机的焦距、光圈直至获取到的图像清晰，固定好相机的焦距、光圈使其在图像采集过程中不变，拍摄若干组标定板图像，使用张正友标定法标定相机的参数，整个参数标定过程在空气中完成；

S2、图像采集，使用DLP光机投射一系列编码结构光的图像，包括以下步骤：

S21、采用10位格雷码条纹图，包括10张纵向正格雷码，10张纵向逆格雷码，格雷码条纹图是黑白条纹相间的图像，其中，黑色条纹，代表编码值为0，白色条纹，代表编码值为1；正格雷码条纹图用于对二维图像的行进行编码，逆格雷码条纹图与正格雷码条纹图编码值相反，正格雷码条纹图中的黑色条纹变为白色条纹，白色条纹变为黑色条纹，逆格雷码条纹图用来辅助目标物体图像的二值化操作；

S22、将目标物体置于水中，使用投影光机按顺序向目标物体投射格雷码条纹图，每投射一张格雷码条纹图，左右目相机就分别捕捉一张图像，双目相机依次捕捉带有格雷码条纹图的目标物体图像，直至20张格雷码条纹图投射结束，关闭双目相机和投影光机；

S3、图像校正，步骤S2获取到的图像对其进行立体校正，把实际非共面行对准的两幅图像校正为共面行对准，用于左右图像的对应点匹配；

S4、单视角三维重建，包括以下步骤：

S41、图像二值化：将二值化后的格雷码图像记为对于左相机图像，将矫正后的带有正格雷码条纹的图像(记为)与带有逆格雷码条纹的图像(记为)进行逐像素比较，二值化的过程用以下公式表示：

n(n＝0,1,...,9)表示条纹图的索引值，(i,j)表示图像每个像素位置的索引值。当时，该像素为属于无效区域，不对其进行二值化操作，右相机图像也通过此方式进行二值化操作；

S42、解码：将一组格雷码图像解码到一组二进制图像解码到一张十进制图像D_(i,j)；

S43、匹配：格雷码条纹可对图像的列进行编码，图像经过立体校正后可将图像校正为共面行对准，以行方向进行搜索，左图像中有唯一点与右图像中一点对应；

S44、求解点云：在成像过程中本方法以左相机为基准，即以左相机光心为原点建立世界坐标系，在步骤S43中获取到了左右目图像的所有匹配点对，计算目标物体上一点的深度值Z_c，用公式表示为：

其中，f为相机焦距，u_l，u_r分别为匹配点对在行方向上的像素位置，d为左右目图像的视差值，b为双目相机的基线；

再根据针孔模型可解得目标物体上一点在世界坐标系下的三维坐标P_w＝X_w,Y_w,Z_w)，其中，针孔模型为：

将记为K，记为T；

在针孔模型中坐标都以齐次坐标形式表示，其中，(u,v,1)为世界坐标系下点P_w对应在左相机图像上的像素点位置，(x,y,1)为P_w在图像坐标系下的位置，(X_c,Y_c,Z_c,1)为P_w在相机坐标系下的位置，K表示相机的内参数矩阵，由相机参数标定获得，T表示外参数矩阵，世界坐标系原点建立在左相机光心上，T是一个单位矩阵可解得P_w为：

对于左相机图像上的具有匹配点的像素点由上述方式求解其对应的三维坐标点，获取到目标物体的点云；

S45、修正点云：在重建过程中的相机平面与玻璃平面是平行放置，使用水下折射模型对三维坐标P_w进行修正，修正后的目标点三维坐标记为P_r＝(X_r,Y_r,Z_r)，水下折射模型可表示为：

其中，h为相机光心到玻璃平面的距离，n为水的折射率，设置为1.33；

S5、多组双目相机位姿标定，通过步骤S4获取到各个视角(记为V_i,i＝1,2,…,5)下的三维点云后，估计出各视角下左目相机，记为C_vi,i＝1,2,…,5，位姿记为记为T_i→i+1,i＝1,2,…,4，来对各组点云进行拼接融合形成完成的三维模型；

S6、求解出各视角相机位姿后，根据各视角相机位姿对各视角点云进行变换，将各视角点云变换到视角V₅下，即将世界坐标系的原点建立在视角V₅的左目相机的光心上，以形成目标物体完整的三维点云；

S7、表面重建，包括以下步骤：

S71、点云滤波：在步骤S6中获取到了水下目标物体的完整三维点云，然而，在真实场景中的噪声会对点云结果产生影响，产生许多的噪点、离群点，对三维点云进行滤波，采用半径滤波以及直通滤波来对三维点云进行去噪处理，得到一个平滑的点云PC_filter；

S72、泊松重建：在得到平滑的点云PC_filter后，对其进行表面重建获得最终的完整的保有物体表面细节的三维模型，用泊松表面重建方法对三维点云进行表面重建，恢复出完整地三维模型。