[发明专利]一种基于Kinect和双目视觉的脚型三维重建与测量方法

摘要

一种基于Kinect和双目视觉的脚型三维重建与测量方法，包括如下步骤：步骤S1，从不同角度拍摄人体脚型，获得多幅不同的脚型图像和脚型的深度图像；步骤S2，进行深度图像到三维坐标的转换；步骤S3，将获得的不同方向的双目图像先进行特征匹配，通过双目相机系统求得正确匹配特征点的三维坐标；步骤S4，将不同视图的双目图像正确匹配的特征点利用ICP算法求得其最佳的旋转平移矩阵；步骤S5，利用步骤S4中求得的参数将Kinect传感器获得的三维点云进行点云拼接；步骤S6，对步骤S5中拼接好的三维点云，进行曲面重建和渲染，最后得到脚的三维模型，对重建后的脚模型进行特征参数的测量和提取。本发明方法硬件成本低，操作简单，并具有准确快速的优点。

主权项

一种基于Kinect和双目视觉的脚型三维重建与测量方法，包括以下步骤：1、分别获取脚型不同视角的双目图像与深度图像，获取图像时需要人自然地坐在椅子上，脚处于自然悬空状态，然后移动装置，每隔一个预设的角度采集一次图像，旋转360°后完成全方位的脚型深度图像与双目图像的采集；2、在对深度图像进行滤波去噪处理和背景分割之后，进行不同视图的深度图像到三维点云的转换，Kinect传感器获得三维点云的原理和双目视觉获得三维点云的原理相同，都是利用了三角法的基本原理；通过红外深度相机的焦距f，测得的深度距离d，Kinect的三维坐标系与图像物理坐标系的夹角θ，可得到：XYZ=1f-kcosθ·lu0k-cosθ·v0l+d0sinθ·d·l-sinθ·v0dl00f·duv1≈-k/f0u0k+d0dl/f-v0dl/f00duv1=K-1[u,v,1]T]]>(X,Y,Z)为转换后点的三维坐标，(u,v)为图像像素坐标系点坐标，(u0,v0)为图像物理坐标系的中心坐标，k，l为像素的单位坐标系，K为相机的内置矩阵，通过K即可建立图像像素坐标和世界三维坐标之间的关系，即可直接求得点云的三维坐标；3、对不同视图的双目图像进行特征点的提取与匹配，并求得正确匹配特征点的三维坐标；(3.1)利用前面介绍的Harris‑Laplace特征点检测原理，生成不同视图图像的相应Harris角点；(3.2)利用前面介绍的SIFT特征描述子，生成(3.1)中Harris角点的SIFT特征描述；(3.3)利用本发明方法的特征匹配算法来进行特征点的匹配，利用上述(3.1)中生成的Harris角点和(3.2)中生成角点的SIFT特征描述，使用k‑d树优先搜索法，找到待匹配点的最近邻和次近邻的两个特征点，可节省后续匹配时间。如果待匹配点与最近邻特征点距离和待匹配点与次近邻特征点距离的比值小于某一个设定的阈值，即认为最近邻特征点作为候选匹配点；否则，继续寻找下一个最优匹配点；采用欧氏距离，用以下公式表示：其中Desp[i]，Desq[i]分别是128维的特征向量；对求得的特征点进行粗匹配之后，要进行下一步的精匹配，删除一些错误的特征匹配。由于两台双目立体相机之间存在着平移和旋转关系，利用图像对的双极线约束关系对已匹配的特征点进行精确匹配。则对于待匹配的特征点对(uL,vL)和(uR,vR)，|vL‑vR|≤δ，δ是一个标量值，选取不同的值对匹配点个数有着很大的影响，对后续脚模的三维重建有着至关重要的作用。本发明方法经过实验验证，选取δ＝10时重建的效果最好；(3.4)利用前面介绍过的双目视觉测定三维坐标的原理，求得正确匹配特征点的三维坐标；4、利用前面介绍过的ICP算法，将步骤(3.4)得到的正确匹配特征点的三维坐标进行迭代计算，并求出最优的旋转矩阵和平移向量；5、在前面介绍过的ICP算法的基础之上，提出基于特征匹配的初始配准的点云拼接算法，其详细步骤如下：(5.1)步骤3中以正确提取与匹配了不同视图的特征点，并求出了其三维坐标，现在将采集的第一幅和第二幅图的正确匹配点的三维坐标记为和(5.2)根据之前介绍过的ICP算法的基本步骤对步骤(5.1)中求得的两组三维坐标点集和进行迭代计算，并求出最优的旋转矩阵R和平移向量t，将其作为ICP的初始配准。使得均方根误差和f的值最小：其中R为旋转矩阵，t为平移向量；(5.3)利用Kinect拍摄获得的前两幅的深度图像的三维坐标点集用和表示，利用步骤(5.2)中求得的旋转矩阵R和平移向量t，对进行坐标变换，从而得到新的点集为变换公式为：(5.4)将作为基准点集，将变换后的点集与基准点集进行坐标融合，并将重复冗余的点合并；(5.5)对采集的第N幅图像，重复上述(5.1)—(5.4)的步骤，以此类推，用初始点云PN为坐标中心，去配准P′N‑1点云，直至完成整个三维坐标的统一，则配准后的整个空间的三维坐标点云可以表示为(P1；P′2；...；P′N)；通过以上步骤完成了不同视图不同坐标系的三维点云的拼接；6、对获得的拼接后的点云进行精简，然后采用基于映射的方法对脚模点云进行Delaunay三角剖分处理，步骤如下：(6.1)将脚模数据点云运用基于区域增长法分成几个片区，确保每个片区的点云数据经过映射后没有重叠；(6.2)将分片后的区域点云映射到二维平面上，并保持原空间点云数据之间的距离属性；(6.3)将步骤(6.2)中的二维平面上的点云数据选择逐点插入法进行Delaunay三角剖分，并将其重新映射到三维空间中；(6.3)在曲面重建阶段，本发明方法选择精确化曲面的方法进行重构，首先构造轮廓线和曲面片，对构造的曲面片进行调整优化处理；(6.4)对优化处理好的曲面片进行格栅构造，最后对格栅完成后的数据进行非均匀有理B样条(Non‑Uniform Rational B‑Spline)曲面拟合；对三角网格化中出现的一些孔洞进行修复和填补，对一些网格化之后出现的毛刺和钉状物进行删除，在GEOMAGIC软件上进行渲染；7、根据实际需求，在重建的三维模型中提取相应的特征点、线、局部曲面的位置，利用软件测出实际需求的脚的参数，分别是：脚长Lf、脚横宽w＝y1+y2、跖围C1、跗围C2、兜围C3、跖趾高H1、跗高H2、舟高H3。