[发明专利]基于视觉SLAM的骨关节稠密重建方法

权利要求书

1.一种基于视觉SLAM的骨关节稠密重建方法，其特征在于：包括如下步骤：

S1.采集骨关节图像以及稀疏点云，并从骨关节图像中提取关键帧；

S2.根据关键帧，对稀疏点云进行稠密化处理，得到稠密点云；

S3.对稠密点云进行网格化处理，得到网格化模型；

S4.对网格化模型进行网格纹理贴图，得到贴图后的网格模型。

2.根据权利要求1所述的基于视觉SLAM的骨关节稠密重建方法，其特征在于：根据如下方法提取关键帧：

若当前帧与上一关键帧之间的帧数大于帧数阈值，则将当前帧作为关键帧；

若内点数目大于阈值τ，同时当前帧所在地图的点云数目与局部地图的点云数目的比值小于阈值则将当前帧作为关键帧；其中，所述内点为距离在35倍相机基线范围内的点云。

3.根据权利要求1所述的基于视觉SLAM的骨关节稠密重建方法，其特征在于：所述步骤S2，具体包括：

S21.计算稀疏点云P(X Y Z)^T在相机坐标系下的坐标P′(X′ Y′ Z′)^T；

S22.对相机坐标系下的坐标进行归一化，构建稀疏点云的深度图；

S23.对深度图进行三角网格化，对每个三角网格进行线性插值得到初步稠密的深度图；

S24.根据初步稠密的深度图，计算每个像素对应的深度，得到稠密化的深度图；

S25.根据每个像素对应的深度以及像素坐标，计算得到稠密化后的点云三维坐标。

4.根据权利要求3所述的基于视觉SLAM的骨关节稠密重建方法，其特征在于：根据如下公式确定相机坐标系下的坐标P′(X′ Y′ Z′)^T：

其中，R为关键帧对应的旋转矩阵，t为关键帧对应的平移向量。

5.根据权利要求4所述的基于视觉SLAM的骨关节稠密重建方法，其特征在于：根据如下公式确定稀疏点云深度图的深度D：

6.根据权利要求5所述的基于视觉SLAM的骨关节稠密重建方法，其特征在于：根据如下公式计算每个像素对应的深度D^′：

其中，K为相机的内参矩阵；p为三角面栅格化的像素坐标；n^T为三角网格中三个点构成平面的法向量；d为相机原点到平面的距离。

7.根据权利要求3所述的基于视觉SLAM的骨关节稠密重建方法，其特征在于：所述步骤S24，还包括：对稠密化的深度图进行噪声滤波处理以及孔洞填充处理。

8.根据权利要求6所述的基于视觉SLAM的骨关节稠密重建方法，其特征在于：根据如下公式确定稠密化后的点云三维坐标Pu：

其中，u为像素坐标在u轴上的取值；v为像素坐标在v轴上的取值；c_x为相机原点在x轴上的偏移量；c_y为相机原点在y轴上的偏移量；f_x和f_y分别是焦距f乘以α和β得到的数据量，α为像素坐标在u轴上的缩放倍数，β为像素坐标在v轴上的缩放倍数。

9.根据权利要求6所述的基于视觉SLAM的骨关节稠密重建方法，其特征在于：所述网格化处理包括网格重建以及网格优化；

所述网格重建，具体包括：对稠密点云重建出三维的三角网格；

所述网格优化，具体包括：在三维的三角网格上每一条边的中线插入一个新点，通过连接各个新点，使得一个网格分成四个部分。