[发明专利]一种内窥镜超声影像的处理方法及系统

权利要求书

1.一种内窥镜超声影像的处理方法，其特征在于，包括：

获取CP-EBUS成像技术中三个模式的超声影像，其中，三个模式是指弹性模式E、灰阶模式B和多普勒血流模式F；

采用多模态神经网络对三个模式的所述超声影像进行分类，得到识别淋巴结的处理结果；

所述采用多模态神经网络对三个模式的所述超声影像进行分类，包括：

提取每个模式的超声影像的图像特征；

对每个模式的图像特征进行特征融合，得到三个模式的图像融合特征；

对所述图像融合特征进行分类，得到识别淋巴结的处理结果；

所述特征融合采用特征融合模块来实现，所述特征融合模块有多个，每一个特征融合模块的融合操作分为四路；

对于提取的三个模式超声影像的图像特征,分别用其中三路直接输出收到的原始信号，第四路根据特征融合模块的相对位置，输出略有不同；

对于第一个特征融合模块的融合操作，第四路对其它三路的三个特征进行加权拼接；对于随后特征融合模块的融合操作，首先对三个特征进行加权连接，接着对上一层的融合特征与当前的融合特征进行跨层间的特征融合。

2.根据权利要求1所述的内窥镜超声影像的处理方法，其特征在于，所述提取每个模式的超声影像的图像特征，包括：

将每个模式的超声影像输入神经网络；

所述神经网络利用卷积操作、注意力机制与跨层连接操作对每个模式的超声影像进行特征提取，得到对应的图像特征。

3.根据权利要求1所述的内窥镜超声影像的处理方法，其特征在于，所述对每个模式的图像特征进行特征融合，包括：

利用可学习的加权连接操作将不同模态的图像特征进行融合，得到多模态影像的一个综合表达，即三个模式的图像融合特征。

4.根据权利要求1所述的内窥镜超声影像的处理方法，其特征在于，所述方法还包括图像预处理，在所述提取每个模式的超声影像的图像特征之前进行，使每个模态的所述超声影像预处理后适合作为神经网络的输入。

5.根据权利要求4所述的内窥镜超声影像的处理方法，其特征在于，所述图像预处理包括：

对弹性E模式和多普勒血流F模式图像中的扫描框进行自动定位，依据该定位利用最小矩形框选取重点分析区域。

6.根据权利要求5所述的内窥镜超声影像的处理方法，其特征在于，所述对弹性E模式和多普勒血流F模式图像中的扫描框进行自动定位，依据该定位利用最小矩形框选取重点分析区域，包括：

给定一张弹性E模式或者多普勒血流F模式的图像和依据相应模态成像规律设定的掩码矩阵m，得到通过该步骤去除无关信息，得到预处理的中间信号

之后通过边框检测算子G，确定包含检测框的最小矩形，其中为该最小矩形包含的原始信号。

7.根据权利要求4所述的内窥镜超声影像的处理方法，其特征在于，所述图像预处理包括：

依据每个模式的特性对图像的质量进行评估，针对质量不合格的图像发出提醒，避免无用的分析。

8.根据权利要求7所述的内窥镜超声影像的处理方法，其特征在于，所述依据每个模式的特性对图像的质量进行评估，包括：

-对于弹性E模式的图像，依据每个位置三通道值的方差判断有颜色的像素点，如果有颜色的像素点的比例小于阈值T_e则认为该图像质量不合格，反之则继续计算该图像的平均强度，如果强度大于阈值T_I，则认为该图像质量合格，反之则认为质量不合格；

-对于多普勒血流F模式的图像而言，依据每个位置三通道值得方差判断有颜色的像素点，如果有颜色的像素点的比例小于阈值T_f则认为该图像质量合格，反之则不合格；

-对于灰阶B模式的图像而言，默认其质量合格。