[发明专利]一种基于深度学习的多模态医学影像识别方法及装置

权利要求书

1.一种基于深度学习的多模态医学影像识别方法，其特征在于，所述基于深度学习的多模态医学影像识别方法包括以下步骤：

步骤一，通过医学影像采集模块利用医疗影像设备采集医学影像数据；

步骤二，主控模块通过影像增强模块利用影像增强算法对采集的影像进行增强处理；

步骤三，通过影像特征提取模块利用提取程序提取采集影像特征；通过特征识别模块利用识别程序对提取的特征进行识别；

步骤四，通过模态转换模块利用转换程序对不同模态医学影像进行转换操作；

步骤五，通过打印模块利用打印机将采集的影像进行打印操作；

步骤六，通过显示模块利用显示器显示采集医学影像数据信息。

2.如权利要求1所述的基于深度学习的多模态医学影像识别方法，其特征在于，所述基于深度学习的多模态医学影像识别方法的影像特征提取方法如下：

(1)多模态医学影像预处理及张量构造；读取多模态医学DICOM格式图像；根据标注信息提取图像待提取区域并对多模态图像进行归一化；用张量形式表示归一化后的多模态图像数据；

(2)带标签约束的张量分解及特征空间数据投影；对得到的张量进行带标签约束的张量分解得到核心张量；将张量数据投影到核心张量对应的子空间上；用投影空间上的数据作为训练数据训练分类器；

(3)多模态医疗影像融合；提取多模态影像数据的候选区域；将候选区域投影到子空间上，输入训练好的分类器中得出待提取区域的提取结果。

3.如权利要求1所述的基于深度学习的多模态医学影像识别方法，其特征在于，所述基于深度学习的多模态医学影像识别方法的模态转换方法如下：

1)通过转换程序准备训练数据集；输入训练数据，所述的训练数据包含若干组具有相同感兴趣区域的第一模态以及与第一模态对应的第二模态的医学影像；将训练数据进行预处理；判断每组数据影像中不同模态的各层影像是否互相匹配；

若每组数据影像中不同模态的各层影像互相匹配，则将对应各层训练图片分别划分成多个2D图像块；

若每组数据影像中不同模态的各层影像没有完全相互匹配，则将每组数据中第一模态的影像进行三维重建、配准后再进行切分，获得包含m层第一模态影像的集合使第一模态医学影像中每层切片影像与同组中对应的第二模态医学影像匹配；或者对第二模态影像进行三维重建、配准后再切分，使第二模态医学影像中每层切片影像与同组中对应的第一模态医学影像匹配；或者对第一、第二模态影像分别进行三维重建、配准和切分，使第一模态医学影像中每层切片影像与同组中对应的第二模态医学影像匹配；并将各对应切片层训练图片分别划分成多个3D图像块；

2)训练神经网络；用准备好的图像块训练集训练神经网路模型；训练过程中分割每个图像块中不同模态的医学影像中感兴趣区域的对应位置，通过神经网路模型前向计算出输出图像，并且与真实掩莫图像进行相似度比较，进一步通过反向传播调节神经网络的参数；当验证数据集的LOSS值小于等于设定阈值时，模型停止迭代，保存模型，得到训练好的深度卷积神经网络模型；

3)把预处理后的第一模态医学图像输入到训练好的深度卷积神经网络模型中进行前向计算并输出第二模态的医学影像。

4.一种基于权利要求1所述基于深度学习的多模态医学影像识别方法的基于深度学习的多模态医学影像识别装置，其特征在于，所述基于深度学习的多模态医学影像识别装置包括：

医学影像采集模块，与主控模块连接，用于通过医疗影像设备采集医学影像数据；

主控模块，与医学影像采集模块、影像增强模块、影像特征提取模块、特征识别模块、模态转换模块、打印模块、显示模块连接，用于通过单片机控制各个模块正常工作；

影像增强模块，与主控模块连接，用于通过影像增强算法对采集的影像进行增强处理；

影像特征提取模块，与主控模块连接，用于通过提取程序提取采集影像特征；

特征识别模块，与主控模块连接，用于通过识别程序对提取的特征进行识别；

模态转换模块，与主控模块连接，用于通过转换程序对不同模态医学影像进行转换操作；

打印模块，与主控模块连接，用于通过打印机将采集的影像进行打印操作；

显示模块，与主控模块连接，用于通过显示器显示采集医学影像数据信息。

5.一种应用权利要求1～3任意一项所述基于深度学习的多模态医学影像识别方法的医学成像处理控制系统。