[发明专利]基于视觉SLAM的骨关节稠密重建方法

说明书

本发明公开了一种基于视觉SLAM的骨关节稠密重建方法，包括：S1.采集骨关节图像以及稀疏点云，并从骨关节图像中提取关键帧；S2.根据关键帧，对稀疏点云进行稠密化处理，得到稠密点云；S3.对稠密点云进行网格化处理，得到网格化模型；S4.对网格化模型进行网格纹理贴图，得到贴图后的网格模型。本发明能够为主刀医生提供多方位视角，有助于医生判断疾病，快速准确地确定病灶位置。

技术领域

本发明涉及三维重建领域，具体涉及一种基于视觉SLAM的骨关节稠密重建方法。

背景技术

近年来，基于视觉的三维重建技术正逐渐应用于微创手术中，人体组织因流血形变的原因会表现出高光和镜面反射的现象，而同时定位与地图构建(SimultaneousLocalization and Mapping,SLAM)技术因对于高光和镜面反射的现象具有较高的鲁棒性，受到了广泛的应用。其中，ORB-SLAM3是一个能够使用单目、立体和RGB-D相机，并使用针孔和鱼眼镜头模型执行视觉、视觉惯性和多地图SLAM的系统，属于视觉SLAM业界优秀的解决方案之一。

虽然，ORB-SLAM3所使用的方法基于特征点法可以得到精准的稀疏点云，但是没有提供获取稠密点云的方法，也就无法构建稠密的三维点云模型，进而无法为使用者(比如主刀医生)提供多方位的视角，不能准确地判断病灶位置。因此，需要一种基于视觉SLAM的骨关节稠密重建方法，能够解决以上问题。

发明内容

有鉴于此，本发明的目的是克服现有技术中的缺陷，提供基于视觉SLAM的骨关节稠密重建方法，能够为主刀医生提供多方位视角，有助于医生判断疾病，快速准确地确定病灶位置。

本发明的基于视觉SLAM的骨关节稠密重建方法，包括如下步骤：

S1.采集骨关节图像以及稀疏点云，并从骨关节图像中提取关键帧；

S2.根据关键帧，对稀疏点云进行稠密化处理，得到稠密点云；

S3.对稠密点云进行网格化处理，得到网格化模型；

S4.对网格化模型进行网格纹理贴图，得到贴图后的网格模型。

进一步，根据如下方法提取关键帧：

若当前帧与上一关键帧之间的帧数大于帧数阈值，则将当前帧作为关键帧；

若内点数目大于阈值τ，同时当前帧所在地图的点云数目与局部地图的点云数目的比值小于阈值则将当前帧作为关键帧；其中，所述内点为距离在35倍相机基线范围内的点云。

进一步，所述步骤S2，具体包括：

S21.计算稀疏点云P(X Y Z)^T在相机坐标系下的坐标P′(X′Y′Z′)^T；

S22.对相机坐标系下的坐标进行归一化，构建稀疏点云的深度图；

S23.对深度图进行三角网格化，对每个三角网格进行线性插值得到初步稠密的深度图；

S24.根据初步稠密的深度图，计算每个像素对应的深度，得到稠密化的深度图；

S25.根据每个像素对应的深度以及像素坐标，计算得到稠密化后的点云三维坐标。

进一步，根据如下公式确定相机坐标系下的坐标P′(X′Y′Z′)^T：

其中，R为关键帧对应的旋转矩阵，t为关键帧对应的平移向量。

进一步，根据如下公式确定稀疏点云深度图的深度D：

进一步，根据如下公式计算每个像素对应的深度D^′：