[发明专利]一种超声内镜与CT三维图像实时转化方法和系统

权利要求书

1.一种超声内镜与CT三维图像实时转化方法，其特征在于，包括以下步骤：

S1获取超声内镜二维图像，并在所述二维图像中标记零刻度；

S2获取CT三维重建图像，并在所述CT三维重建图像中标记零刻度；

S3将所述超声内镜二维图像的零刻度和所述CT三维重建图像的零刻度进行匹配，建立所述超声内镜二维图像的零刻度和所述CT三维重建图像的零刻度的转化模型；

S4将所述超声内镜二维图像的零刻度通过所述转化模型转化至所述CT三维重建图像中，并通过二维图像和三维图像的映射关系将超声内镜二维图像转化至所述CT三维重建图像中；

所述步骤S3中将所述超声内镜二维图像的零刻度和所述CT三维重建图像的零刻度进行匹配的方法为：

S3.1将标记了零刻度的所述超声内镜二维图像的零刻度和所述CT三维重建图像带入Mask-RCNN算法模型中，并分别提取出超声内镜二维图像和CT三维重建图像对应的零刻度图像；

S3.2将超声内镜二维图像的零刻度图像和CT三维重建图像的零刻度图像带入基于条件随机场的数据联合特征概率模型或多尺度层次匹配最优化模型进行零刻度匹配；

S3.3建立所述超声内镜二维图像的零刻度和所述CT三维重建图像的零刻度的转化模型。

2.如权利要求1所述的超声内镜与CT三维图像实时转化方法，其特征在于，所述步骤S1中获取超声内镜二维图像后，在所述超声内镜二维图像上标注零刻度位置，并将标注了零刻度的二维图像输入至基于迁移学习训练而得到的卷积神经网络中进行训练。

3.如权利要求2所述的超声内镜与CT三维图像实时转化方法，其特征在于，所述迁移学习训练的过程为：

S1.1获取超声内镜二维图像；

S1.2将超声内镜二维图像分为训练集、验证集和测试集；

S1.3利用所述训练集训练待训练的卷积神经网络以获取经过训练的所述卷积神经网络；

S1.4利用所述测试集测试经过训练的所述卷积神经网络以获取网络准确率，所述网络准确率达到预设要求则停止训练，否则返回步骤S1.3继续训练；

S1.5对所述验证集进行单独验证，以保证所述卷积神经网络的泛化性。

4.如权利要求2所述的超声内镜与CT三维图像实时转化方法，其特征在于，在进行所述迁移学习训练前，需要对图像进行预处理，图像预处理步骤为：对待处理的超声内镜二维图像进行图像归一化处理和/或数据增强处理。

5.如权利要求1所述的超声内镜与CT三维图像实时转化方法，其特征在于，在所述步骤S3结束后，需要对所述转化模型进行验证，验证过程为：获取新的超声内镜二维图像，并在所述图像中标记零刻度，将所述零刻度带入所述转化模型中，得到CT三维重建图像的零刻度，将得到的所述CT三维重建图像的零刻度与实际CT三维重建图像的零刻度进行比较，以对所述转化模型进行验证。

6.一种超声内镜与CT三维图像实时转化系统，其特征在于，包括：

超声内镜标记模块，用于获取超声内镜二维图像，并在所述二维图像中标记零刻度；

CT标记模块，用于获取CT三维重建图像，并在所述CT三维重建图像中标记零刻度；

匹配模块，用于将所述超声内镜二维图像的零刻度和所述CT三维重建图像的零刻度进行匹配，建立所述超声内镜二维图像的零刻度和所述CT三维重建图像的零刻度的转化模型；

转化模块，用于将所述超声内镜二维图像的零刻度通过所述转化模型转化至所述CT三维重建图像中，并通过二维图像和三维图像的映射关系将超声内镜二维图像转化至所述CT三维重建图像中；

所述匹配模块包括：

零刻度图像生成子模块，用于将标记了零刻度的所述超声内镜二维图像的零刻度和所述CT三维重建图像带入Mask-RCNN算法模型中，并分别提取出超声内镜二维图像和CT三维重建图像对应的零刻度图像；

零刻度匹配子模块，用于将超声内镜二维图像的零刻度图像和CT三维重建图像的零刻度图像带入基于条件随机场的数据联合特征概率模型或多尺度层次匹配最优化模型进行零刻度匹配；

转化模型生成模块，用于建立所述超声内镜二维图像的零刻度和所述CT三维重建图像的零刻度的转化模型。