[发明专利]一种多模态信息指导的医学图像分割系统及图像处理方法

权利要求书

1.一种多模态信息指导的医学图像分割系统，其特征是，包括：

图像特征提取模块，被配置为用于对输入图像进行编码，提取图像特征；

文本特征编码模块，被配置为用于采用双向语言模型来对文本信息进行向量化表示；

跨模态信息融合模块，被配置为用于建立图像特征、文本向量编码和空间坐标特征之间的连接，根据连接关系更新图像特征后重新捕捉图像信息，将捕捉的图像信息采用门控融合函数融合，获得图像分割结果。

2.如权利要求1所述的一种多模态信息指导的医学图像分割系统，其特征是：采用残差网络对输入图像进行编码，提取图像特征。

3.如权利要求1所述的一种多模态信息指导的医学图像分割系统，其特征是：采用双向语言模型来对文本信息进行向量化表示。

4.如权利要求1所述的一种多模态信息指导的医学图像分割系统，其特征是：数据获取模块：被配置为获得图像以及针对图像描述的文本信息；

或者，还包括超声波检测设备，数据获取模块与超声波检测设备通信连接。

5.如权利要求1所述的一种多模态信息指导的医学图像分割系统，其特征是：还包括数据预处理模块，被配置为通过旋转、镜像方法图像数据进行增强，并对数据做归一化处理。

6.如权利要求1所述的一种多模态信息指导的医学图像分割系统，其特征是：跨模态信息融合模块，被配置为执行以下步骤：

根据文本信息对每个图像区域的重要性，建立了文本信息与图像特征之间的关系，对图像特征提取模块输出的图像特征表示进行更新；

针对更新后的图像特征，采用多个比例捕捉图像信息；

针对捕捉图像信息，采用门控融合函数进行融合以生成分割目标，按照分割目标进行分割获得图像分割结果。

7.如权利要求1所述的一种多模态信息指导的医学图像分割系统，其特征是：针对更新后的图像特征，采用多个比例捕捉图像信息，具体的：采用空洞空间卷积池化金字塔，以不同采样率的空洞卷积并行采样。

8.一种多模态信息指导的医学图像分割方法，其特征是，包括如下步骤：

获取图像以及对图像的描述的文本信息；

对获取的图像进行编码，提取图像特征；

对获取的文本信息进行编码，获得文本向量编码；

建立图像特征、文本向量编码和空间坐标特征之间的连接，根据连接关系更新图像特征后重新捕捉图像信息，将捕捉的图像信息采用门控融合函数融合，获得图像分割结果。

9.如权利要求8所述的一种多模态信息指导的医学图像分割方法，其特征是：

建立图像特征、文本向量编码和空间坐标特征之间的连接，根据连接关系更新图像特征后重新捕捉图像信息，将捕捉的图像信息采用门控融合函数融合，获得图像分割结果，包括如下步骤：

根据文本信息对每个图像区域的重要性，建立了文本信息与图像特征之间的关系，对图像特征提取模块输出的图像特征表示进行更新；

针对更新后的图像特征，采用多个比例捕捉图像信息；

针对捕捉图像信息，采用门控融合函数进行融合以生成分割目标，按照分割目标进行分割获得图像分割结果。

10.一种终端设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，其特征是，所述计算机指令被处理器运行时，执行以下步骤：

获取图像以及对图像的描述的文本信息；

对获取的图像进行编码，提取图像特征；

对获取的文本信息进行编码，获得文本向量编码；

建立图像特征、文本向量编码和空间坐标特征之间的连接，根据连接关系更新图像特征后重新捕捉图像信息，将捕捉的图像信息采用门控融合函数融合，获得图像分割结果。