[发明专利]面向微创手术空间感知的内窥镜图像三维重构方法和系统

权利要求书

1.一种面向微创手术空间感知的内窥镜图像三维重构方法，其特征在于，所述方法包括：

S1、获取内窥镜图像；

S2、基于预设的多任务神经网络模型对内窥镜图像的当前帧进行深度估计，获取当前帧的点云深度；

S3、基于所述点云深度和相机模型获取局部点云；

S4、对多个局部点云进行配准融合；

S5、对配准融合后的多个局部点云进行拼接，形成随着时间推移柔性变换的全局点云，对所述全局点云进行可视化展示；

其中，

所述预设的多任务神经网络模型包括：三类卷积块和全局池化层，所述三类卷积块包括卷积块一、卷积块二和卷积块三，所述多任务神经网络模型处理内窥镜图像的过程包括：

通过两个卷积块一对两帧内窥镜图像提取内窥镜图像的特征图，得到第一特征图和第二特征图，两个卷积块一之间的网络参数权值共享；

对所述第一特征图和第二特征图进行拼接，通过所述卷积块二对拼接后的特征图进行特征提取，得到帧间运动向量估计特征；

通过所述全局池化层对帧间运动向量估计特征进行池化处理，得到两帧内窥镜图像之间的相机运动向量；

通过所述卷积块三对拼接后的特征图进行调整特征提取，得到深度信息特征；第二特征图与深度信息特征跳层连接，输出适用于第二张内窥镜图像的多尺度视差图；

所述预设的多任务神经网络模型的训练过程包括：

获取内窥镜图像并进行处理；

将处理后的内窥镜图像输入到初始神经网络模型，采用自监督的方式对初始神经网络模型进行训练，得到多任务神经网络模型；

其中，训练过程中的损失函数包括：

相机帧间运动估计损失：

其中，表示神经网络模型预测的相机平移向量；表示神经网络模型预测的相机旋转向量；δ1和δ2分别为适用于平移向量和旋转向量的Huber函数的参数；

其中，Huber函数计算如下：

其中，y和表示需要进行比较的两个数；

图像还原损失，包括像素误差损失和相似性误差损失，具体为：

像素误差损失：

其中：M和N分别表示图像的像素宽和高的值；I(i，j)表示第二张图在坐标(i，j)下的真实像素值；表示通过算法重建的第二张图在坐标(i，j)的像素值；θ为代表像素误差的Huber函数的参数；

相似性误差损失：

其中：Sim表示图像相似性评估函数，其值位于0～1之间；I表示真实的第二张图；表示通过算法重建的第二张图；

深度平滑误差损失：

其中：D(i，j)表示在坐标(i，j)处，所估计的第二张图的深度的倒数；

总的损失函数为上述损失函数的加权和，各部分的权重分配通过神经网络超参数学习获得；

所述S3包括：

根据相机外参对内窥镜图像进行畸变校正，对于非畸变图像像素坐标(u v)，其像素值还原步骤包括：

对于非畸变图像的归一化平面，有：

其中，(x′ y′)表示非畸变图像像素坐标(u v)在归一化平面上对应的坐标；c_x、c_y、f_x和f_y分别表示内窥镜相机的内参；

坐标经畸变后，在归一化平面上的坐标为(x″y″)，有：

其中，r²＝x′²+y′²；k₁和k₂为径向畸变的参数；p₁和p₂为切向畸变的参数；

畸变后的归一化平面坐标经过投影到像素平面上，得到像素坐标为：

因此非畸变图像坐标(u v)的像素值即为畸变图像坐标(u_d v_d)所对应的像素值；u_d和v_d为非整数，根据双线性插值法求得(u_d v_d)所对应的像素值；

双线性插值法如下：

若u_d和v_d均为非整数，则取u₁＜u_d＜u₁+1，v₁＜v_d＜v₁+1；若u₁和v₁均为整数，则有：

I(u_d，v_d)＝(v₁+1-v_d)I(u_d，v₁)+(v_d-v₁)I(u_d，v₁+1)

其中，

I(u_d，v₁)＝(u₁+1-u_d)I(u₁，v₁)+(u_d-u₁)I(u₁+1，v₁)

I(u_d，v₁+1)＝(u₁+1-u_d)I(u₁，v₁+1)+(u_d-u₁)I(u₁+1，v₁+1)

根据像素值还原后的坐标和相机模型求解点云的x和y，具体为：

x＝z(u-c_x)/f_x

y＝z(v-c_y)/f_y

根据点云的x和y，将步骤S2中的点云深度作为z，得到在当前帧所对应的内窥镜相机坐标系下的局部点云。