[发明专利]一种基于三维重建的内镜检查覆盖率评估方法及系统

权利要求书

1.一种基于三维重建的内镜检查覆盖率评估方法，其特征在于，包括以下步骤：

S01，筛选信息帧图像：将检查图像输入到已训练好的分类神经网络中，进行信息帧筛选，筛选结果符合要求则进入S02，否则预警；

S02，深度预测：将步骤S01筛选出的信息帧输入到已训练好的深度预测神经网络中，获取深度图D；

S03，位姿估计：将步骤S02输出的RGB-D数据输入到已训练好的位姿估计网络中，输出得到内镜的位姿P；

S04，重建三维模型：将步骤S02和步骤S03获取的深度图D和位姿P及图像信息输入到三维重建算法中，重建出被检查部位的表面；

S05，计算覆盖率：根据步骤S04重建的三维模型，计算覆盖率。

2.根据权利要求1所述的一种基于三维重建的内镜检查覆盖率评估方法，其特征在于，步骤S01中信息帧的判断算法为：将内镜采集的RGB图像转换到HSV颜色空间，并使用高斯滤波器去除噪声。

3.根据权利要求1或2所述的一种基于三维重建的内镜检查覆盖率评估方法，其特征在于，步骤S02中的深度预测神经网络的训练方法采用有监督训练和无监督训练相结合，具体步骤为：

S021,利用真实的内镜图片进行无监督训练，保证网络能够学习到被检查部位图片的特征；

S022，冻结网络的浅层，利用具有真实深度的体模数据集进行有监督训练，保证网络深度预测准确率。

4.根据权利要求3所述的一种基于三维重建的内镜检查覆盖率评估方法，其特征在于，步骤S021中无监督训练的具体方法为：输入被检测部位的图像 ，将三张图片输入到深度预测神经网络和位姿估计网络中，得到三张对应的深度图，位姿估计网络中得到位姿变换矩阵，其中已知和两帧图像，是原始帧，是通过原始帧经过深度和位姿转换得到的转换帧，是目标帧，即原始帧下一时刻的帧，也是期望转换得到的目标帧，是下一时刻的帧，转换帧和原始帧之间对应点的映射关系为：

   ，

其中为原始帧中的点，为原始帧经过转换后的转换帧中的点，为原始帧到目标帧的转换位姿矩阵，为相机内参；转换帧与目标帧之间的误差最小就是该无监督的损失函数如下式（a）：

，

其中，为平均绝对误差损失，是结构相似性损失；是转换帧包含的像素p的值，是目标帧包含的像素p的值，P为图片中所包含的点，为图片中点的总数；分别为图像的均值，为图像的协方差，分别为图像图像的方差；通常取值为，L是图像的灰度动态范围。

5.根据权利要求4所述的一种基于三维重建的内镜检查覆盖率评估方法，其特征在于，步骤S04的具体步骤如下：

S041:输入当前帧RGB图像根据深度图D和位姿P将其转换到三维空间，并创建为面元；

S042:每输入一个新的帧，根据该帧的深度图D和位姿P将其投影到三维空间，根据其深度z，计算阈值区间，为阈值参数，取值0.5，若空间中已存在的相邻像素点在阈值范围内则称当前面元为支持面元，表明该投影点已存在无需处理,若小于区间的最小值，则称为冲突面元，表明该投影点与已创建的面元有冲突，需要舍去，若大于区间的最大值，则认为是扩大面元，则表明该投影点在已创建的面元之外，需要新建面元;

S043:全部创建好面元后，遍历面元进行三角网格化，最终重建出有效的三维模型表面;

S044:重建出的三维模型融合RGB图像渲染出颜色，呈现出较为真实的被检测部位三维模型。

6.根据权利要求5所述的一种基于三维重建的内镜检查覆盖率评估方法，其特征在于，步骤S05中覆盖率的计算方法为：三维模型为管腔结构，在管腔结构中计算其中轴，并根据中轴距离结肠表面的距离，计算出平均半径，根据平均半径拟合一个圆柱体，根据圆柱体的表面积估算结肠的完整表面积；重建完成的结肠三维模型计算其已重建的面积，与估算的完整表面积之比就是覆盖率。