[发明专利]一种消化内镜导航方法和系统

权利要求书

1.一种消化内镜导航方法，包括以下步骤：

利用训练数据训练孪生神经网络模型，其中，所述训练数据反映消化内镜连续两帧图像的位移向量分布特征与消化内镜运动模式之间的对应关系，每个位移向量是连续两帧图像关于同一位置的特征点相连；

实时获取消化内镜连续视频流，将连续两帧图像输入到经训练的孪生神经网络模型，以根据位移向量分布特征识别消化内镜的运动模式，并计算相应运动模式下一帧位置坐标，进而输出运动轨迹；

其中，在训练过程中，所述孪生神经网络模型的损失函数表示为：

其中，λ_coord是坐标损失权重，λ_angle是位移向量的角度损失权重，λ_length是位移向量的长度损失权重，λ_class是运动模式类别损失权重，x_ij和y_ij是特征点的坐标值，和是估计的特征点坐标值，i表示特征点索引，j表示连续两帧图像索引，表示位移向量的角度真值，表示位移向量的角度估计值，表示位移向量的长度真值，表示位移向量的长度估计值，p_i(c)表示运动模式类别真值，表示运动模式类别估计值，C是运动模式的类别数目；

其中，计算相应运动模式下一帧位置坐标包括：

对于前进运动模式，取各位移向量的反向延长线交点作为前进中心的坐标，并根据几何关系计算得出下一帧位置坐标；

对于后退运动模式，以位移向量所指方向聚集成一个后退中心；

对于平面内运动模式，根据以下步骤计算：

当仅为平移运动时，下一帧位置坐标直接通过在图像平面内平移计算得出，平移的长度l取位移向量模长的均值，角度θ取位移向量与x轴所成夹角的均值；

当仅为旋转运动时，旋转角度取最大跨度角|θ_max-θ_min|，θ_max为位移向量与x轴所成夹角的最大值，θ_min为位移向量与x轴所成夹角的最小值，旋转中心为消化内镜镜头当前位置；

对于镜头在图像平面内即有平移又有旋转运动的情况，先计算平移运动的位移长度与角度，再计算旋转运动所导致的镜头朝向的改变。

2.根据权利要求1所述的方法，其中，根据以下步骤获得连续两帧图像的位移向量分布特征：

利用特征点匹配算法提取连续两帧图像的特征点，以表征连续两帧图像中的相似点；

将前一帧图像取第一设定比例的透明度，当前帧的图像取第二设定比例透明度进行叠加，得到一张融合图像；

在融合图像上将连续两帧图像的特征点进行相连，得到多个位移向量。

3.根据权利要求1所述的方法，其中，所述位移向量分布特征包括连续两帧图像特征点的坐标、位移向量的长度和位移向量的角度，所述运动模式分类为前进、后退以及在图像平面内运动模式。

4.根据权利要求1所述的方法，其中，采用衡量两个分布相似性的Wasserstein距离来衡量所述位移向量的角度损失和所述位移向量的长度损失。

5.根据权利要求1所述的方法，其中，对于前进运动模式，下一帧的位置坐标(x₃,y₃,z₃)表示为：

其中，函数d(p_i1,p_i2)用于计算位移向量的距离，p₁和p₂分别代表连续两帧图像提取的特征点，(x₁,y₁,z₁)是已知的当前位置坐标，(x₂,y₂,z₂)是前进中心的坐标，l是前进距离，取位移向量的均值，n表示特征点数目。