[发明专利]一种多模态信息指导的医学图像分割系统及图像处理方法

说明书

本公开提出了一种多模态信息指导的医学图像分割系统及图像处理方法，基于文本信息的指导进而更新视觉图像特征表示，然后通过门控融合模块将多模态特征进行融合，建立了文本和图像这两种模态信息之间的联系，使用文本指导图像分割，两种模态信息相互作用，而不是简单的将文本信息和图像信息融合，较高层的特征为底层特征提供全局和语义指导，底层特征为较高层的特征提供局部和更精细的信息，使用文本指导图像分割，两种模态信息相互作用，提高了图像分割的准确性。

技术领域

本公开涉及智能医疗信息技术相关技术领域，具体的说，是涉及一种多模态信息指导的医学图像分割系统及图像分割方法。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。

动脉粥样硬化(Atherosclerosis,AS)是缺血性心脏病和中风的主要原因，导致全球范围内的高死亡率和发病率。颈部动脉斑块是颈部动脉粥样硬化的典型症状，多形成于颈总动脉分叉处。当颈动脉不稳定斑块脱落或破裂后容易引起心血管栓塞和颈动脉的急性闭塞，进而引发心梗甚至脑卒中。颈动脉斑块的准确评估对于相关的诊断和预后非常重要。目前，常规超声是一种非侵入性成像方法，已被广泛用于颈动脉斑块的检测和测量。

通常情况下，颈动脉斑块的分割是由具备专业知识的医学专家手动完成，但手动分割耗时长且分割效果多会依赖操作者的临床经验。通过将自然图像分割等深度学习算法应用到超声图像中能够有效的解决颈动脉斑块分割的问题。现有的医学图像分割方法通常是仅基于视觉区域进行分割算法的研究，而没有考虑到视觉和语言之间的相互指导，基于单模态的颈动脉超声图像的分割常常会出现斑块定位不准确等问题。

发明内容

本公开为了解决上述问题，提出了一种多模态信息指导的医学图像分割系统及图像分割方法，基于文本信息的指导进而更新视觉图像特征表示，然后通过门控融合模块将多模态特征进行融合，建立了文本和图像这两种模态信息之间的联系，使用文本指导图像分割，两种模态信息相互作用，而不是简单的将文本信息和图像信息融合，较高层的特征为底层特征提供全局和语义指导，底层特征为较高层的特征提供局部和更精细的信息，使用文本指导图像分割，两种模态信息相互作用，提高了图像分割的准确性。

为了实现上述目的，本公开采用如下技术方案：

一个或多个实施例提供了一种多模态信息指导的医学图像分割系统，包括：

图像特征提取模块，被配置为用于对输入图像进行编码，提取图像特征；

文本特征编码模块，被配置为用于采用双向语言模型来对文本信息进行向量化表示；

跨模态信息融合模块，被配置为用于建立图像特征、文本向量编码和空间坐标特征之间的连接，根据连接关系更新图像特征后重新捕捉图像信息，将捕捉的图像信息采用门控融合函数融合，获得图像分割结果。

一个或多个实施例提供了一种多模态信息指导的医学图像分割方法，包括如下步骤：

获取图像以及对图像的描述的文本信息；

对获取的图像进行编码，提取图像特征；

对获取的文本信息进行编码，获得文本向量编码；

建立图像特征、文本向量编码和空间坐标特征之间的连接，根据连接关系更新图像特征后重新捕捉图像信息，将捕捉的图像信息采用门控融合函数融合，获得图像分割结果。

一种终端设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，执行以下步骤：

获取图像以及对图像的描述的文本信息；

对获取的图像进行编码，提取图像特征；

对获取的文本信息进行编码，获得文本向量编码；