[发明专利]一种基于智能手机的场景重建方法

摘要

本发明公开了一种基于智能手机的场景重建方法。本方法为1)计算智能手机上彩色相机的内部相机参数矩阵；2)将深度相机连接到该智能手机上并固定，计算该深度相机对应的内部相机参数矩阵及其缩放因子；3)计算该彩色相机与该深度相机相对应的外部参数矩阵；4)用智能手机上的该彩色相机、深度相机拍摄场景的全景视频，再将该视频转换为图像序列；然后通过得到的外部参数矩阵和内部参数矩阵将图像序列合并为RGB‑D四通道序列；5)计算该RGB‑D中相邻两帧对应的变换矩阵；6)通过RGB‑D与变换矩阵建立场景三维空间点云集，然后通过仿射变换将该点云集显示于智能手机的显示屏上。本发明具有更好的便携性和可塑性。

主权项

一种基于智能手机的场景重建方法，其特征在于包括如下步骤：步骤1、在智能手机中安装相机调用模块，通过相机调用模块调用智能手机上的彩色相机，用彩色相机从各个设定角度拍摄棋盘格，利用棋盘格上设定的多个坐标的特征点，计算智能手机上彩色相机的内部相机参数矩阵：T=fx0cx0fycy001---(1)]]>其中，fx＝f/dx,fy＝f/dy分别是彩色相机坐标x轴和y轴上的归一化焦距；f是彩色相机的焦距，dx和dy分别表示彩色相机平面x轴和y轴上单位像素的尺寸大小；cx和cy则表示光学中心，即彩色相机光轴与图像平面的交点，通常位于图像中心处，故其值被取为相机分辨率的一半；步骤2、将深度相机structure sensor连接到智能手机上并固定，通过相机调用模块调用该深度相机，通过深度相机从各个角度对棋盘格进行拍摄，计算得到深度相机对应的内部相机参数矩阵T’，矩阵形式同公式(1)，此外，深度相机还需要另外计算一个缩放因子s，该缩放因子s为深度相机所得到的相平面上各像素点的数值与实际空间中实际距离的比例值；下式为深度相机所对应的相机坐标系到空间坐标系的转换公式：suv1=fx0cx0fycy001xyz---(2)]]>其中，(u,v)分别为二维平面即二维图片上各个像素点位置的横纵坐标，在拍摄得到二维图片后，设图片左上角为原点即可确定图片各像素点的坐标，(x,y,z)为图片中各像素点所对应的三维空间坐标；步骤3、通过彩色相机和深度相机同时拍摄棋盘格，得到两个相机拍摄空间中同一点所得的平面坐标，利用公式(2)将其转换为空间坐标，并利用公式(4)进行配准，得到两个相机相对应的外部参数矩阵，即公式(3)；由于空间中某一点对应到两个相机平面中时，其在两个相机坐标系中的坐标位置是不同的，因此需通过该外部参数矩阵，即利用公式(4)将其配准到相同的坐标上，使得在相同的坐标中，本发明能得到场景中该点的颜色信息和距离信息；外部参数矩阵形式如下：V=Rt01---(3)]]>其中，R是大小为3×3的旋转矩阵，t是大小为3×1的平移向量；本发明可通过将深度相机得到的空间点坐标乘以旋转矩阵R进行旋转，再加上平移向量t，变换到对应的彩色相机所得到的空间点坐标位置；彩色相机与深度相机所对应的空间点坐标转换公式如下：XCYCZC1=Rt01XDYDZD1---(4)]]>其中，(Xc，Yc，Zc)为通过彩色相机转换得到的空间点坐标，(XD，YD，ZD)为通过深度相机转换得到的空间点坐标；步骤4、用智能手机上的彩色相机和深度相机拍摄场景的全景视频，再将视频转换为图像序列即深度图像序列和彩色图像序列，并通过所得到的外部参数矩阵和内部参数矩阵将两种图像序列合并，即将RGB三通道的彩色图像序列与单通道的深度图像序列合并为RGB‑D四通道序列，得到合并后的图像序列{F1,F2,F3,F4,…}；步骤5、由于合并后的图像序列中的图片并不是每一个像素都能有RGB‑D信息，于是需要通过图像修复算法对图像序列进行修补，同时利用去噪算法来滤除噪声，提高场景重建的精度；步骤6、利用特征点匹配的图像处理方法匹配图像序列{F1,F2,F3,F4,…}中的相邻两帧，得到对应的变换矩阵MiMi=Eigi01,i=1,...,N---(5)]]>其中，Ei是大小为3×3的旋转矩阵，gi是大小为3×1的平移向量；图像序列{F1,F2,F3,F4,…}中相邻两帧图像中，前一帧图像的像素点坐标乘以旋转矩阵Ei后再加上平移向量gi就能变换到对应的后一帧图像的像素点坐标位置；步骤7、由于步骤6中计算所得的Mi存在累积误差，因此需要对所有变换矩阵Mi进行全局优化，得到最优的Ei与gi的集合，使通过变化矩阵Mi计算得到的图像与真实图像的误差总和最小，设置图像序列{F1,F2,F3,F4,…}的变换矩阵优化模型为：minEi,giΣi=1N||pi-(Eiqi+gi)||2---(6)]]>其中，pi和qi是相邻两帧的图像数据，都包含RGB‑D信息，都是以三维矩阵形式进行存储，具体的大小视相机分辨率而定，同时pi为后一帧图片数据，qi为前一帧图片数据；N为视频的总帧数；步骤8、通过得到的图像序列与变换矩阵建立场景三维空间点云集，设置场景三维点云数学模型为：C=M1+F1-1*M2+F2-1*M3+...FN-1*MN---(7)]]>通过智能手机上安装的显示模块，显示公式7所计算出的场景三维空间点云集，该点云集中的每个点都包含(X,Y,Z,R,G,B)6种信息，再通过仿射变换将该点云集显示于智能手机的显示屏上。