[发明专利]一种内窥镜超声影像的处理方法及系统

说明书

本发明提供一种内窥镜超声影像的处理方法及系统，所述方法包括：获取CP‑EBUS成像技术中三个模式的超声影像，其中，三个模式是指弹性模式E、灰阶模式B和多普勒血流模式F；采用多模态神经网络对三个模式的所述超声影像进行分类，得到识别淋巴结的处理结果。本发明使用CP‑EBUS成像技术中三个模式的图像数据，通过多模态神经网络对这些图像进行处理，能够更为准确的识别超声影像的淋巴结，从而有助于提升淋巴结诊断的准确率。

技术领域

本发明涉及医疗图像处理技术领域，具体地说，涉及的是一种内窥镜超声影像的处理方法及系统。

背景技术

超声内窥镜是一种填补了普通内镜、体表超声和CT等所不能覆盖的一些特殊适应症的内窥镜。CP-EBUS(凸阵探头超声支气管镜)是一种微创的胸内淋巴结诊断技术，该技术利用装有活检针、超声装置和内窥镜的探头精确地由支气管进入待检的淋巴结附近，利用活检针可以取得目标淋巴结的组织成分，通过对取出组织的病理分析可以对病人的疾病进行准确的诊断。然而由于活检取得的组织量较少，活检的诊断有着20％的假阴性。在取得活检组织的过程中，超声装置可以获取不同模态下的淋巴结的超声影像，现有研究表明，这些超声影像对于淋巴结良恶性的诊断有着重要的价值。依据超声影像的诊断结果，可以帮助医生在活检过程中挑选合适的淋巴结进行穿刺，同时也可以作为活检诊断的一个补充，弥补活检诊断的缺陷。

现有的对CP-EBUS影像的诊断分为半定量或者定量方法，其中半定量方法主要依赖于医生对影像中某种特征的观察，例如，观察灰阶B模式影像中的淋巴结的轮廓，如果轮廓清晰则倾向于恶性，反之则倾向于良性。这一类方法的局限性在于，其诊断的准确率高度依赖于医生的个人经验，因为对于同一张B模式的影像而言清晰与否是因人而异的。这类方法在医疗资源匮乏的地区难以适用，同时也很难保证其诊断准确率的稳定性。另一类定量的方法，通常是以影像的某些统计特征作为指标，设定一定的阈值，超过或者低于该阈值则认为该淋巴结输于恶性或良性。这种方法的局限性在于，其阈值的设定往往和数据集的关系非常密切，对于不同的细分疾病种类也会存在较大的差异。除了上述的局限性外，以上方法的诊断准确率往往有限。

经检索，中国发明专利CN201911310175.1，提供一种基于深度学习的图像识别方法、装置及存储介质，所述方法为：首先实时获取超声影像，截取超声影像中的图像区域作为超声图像；接着采用深度卷积神经网络算法对超声图像进行自动识别，判断所述超声图像中是否包含中央区淋巴结。该发明能够提高中央区淋巴结图像识别的准确率。该专利仅用于判断超声图像中是否包含中央淋巴结，无法对淋巴结的良性恶性进行识别处理，对于辅助医生诊断的意义不是很大。

发明内容

本发明针对以上问题，提供了一种内窥镜超声影像的处理方法及系统，能够更为准确的识别超声影像的淋巴结，从而有助于提升淋巴结诊断的准确率，适用于CP-EBUS成像技术。

本发明的第一方面，提供一种内窥镜超声影像的处理方法，包括：

获取CP-EBUS成像技术中三个模式的超声影像，其中，三个模式是指弹性模式E、灰阶模式B和多普勒血流模式F；

采用多模态神经网络对三个模式的所述超声影像进行分类，得到用于识别淋巴结的处理结果。

可选地，所述采用多模态神经网络对三个模式的所述超声影像进行分类，包括：

提取每个模式的超声影像的图像特征；

对每个模式的图像特征进行特征融合，得到三个模式的图像融合特征；

对所述图像融合特征进行分类，得到用于识别淋巴结的处理结果。

可选地，所述提取每个模式的超声影像的图像特征，包括：

将每个模式的超声影像输入神经网络；

所述神经网络利用卷积操作、注意力机制与跨层连接操作对每个模式的超声影像进行特征提取，得到对应的图像特征。