[发明专利]一种基于深度学习的多模态医学影像识别方法及装置

说明书

本发明属于医学影像识别技术领域，公开了一种基于深度学习的多模态医学影像识别方法及装置，利用医疗影像设备采集医学影像数据；影像增强算法对采集的影像进行增强处理；提取程序提取采集影像特征；利用识别程序对提取的特征进行识别；利用转换程序对不同模态医学影像进行转换操作；打印机将采集的影像进行打印操作；利用显示器显示采集医学影像数据信息。本发明通过影像特征提取模块提高影像特征提取效果；同时，通过模态转换模块采用三维重建、配准和分割的方式，保证了第一模态影像与第二模态影像的对应图像高度匹配；另外本发明对训练图像划分为若干图像块，降低了整张输入训练图片对硬件设备的要求。

技术领域

本发明属于医学影像识别技术领域，尤其涉及一种基于深度学习的多模态医学影像识别方法及装置。

背景技术

目前，最接近的现有技术：医学影像是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得内部组织影像的技术与处理过程。它包含以下两个相对独立的研究方向：医学成像系统(medical imaging system)和医学图像处理(medical imageprocessing)。前者是指图像行成的过程，包括对成像机理、成像设备、成像系统分析等问题的研究；后者是指对已经获得的图像作进一步的处理，其目的是或者是使原来不够清晰的图像复原，或者是为了突出图像中的某些特征信息，或者是对图像做模式分类等等。然而，现有医学影像特征提取效果差；同时，对于同一种成像模态，如果采用不同的成像设备产生的训练集，器官组织名称等需要进行标准化，另外，两种模态间的采集顺序可能不一致而需要对训练图像进行勾画或分割；这都会导致训练数据集处理繁琐，影响机器学习的精度和速度。

综上所述，现有技术存在的问题是：现有医学影像特征提取效果差；同时，对于同一种成像模态，如果采用不同的成像设备产生的训练集，器官组织名称等需要进行标准化，另外，两种模态间的采集顺序可能不一致而需要对训练图像进行勾画或分割；这都会导致训练数据集处理繁琐，影响机器学习的精度和速度。

发明内容

针对现有技术存在的问题，本发明提供了一种基于深度学习的多模态医学影像识别方法及装置。

本发明是这样实现的，一种基于深度学习的多模态医学影像识别方法，所述基于深度学习的多模态医学影像识别方法包括以下步骤：

步骤一，通过医学影像采集模块利用医疗影像设备采集医学影像数据；

步骤二，主控模块通过影像增强模块利用影像增强算法对采集的影像进行增强处理；

步骤三，通过影像特征提取模块利用提取程序提取采集影像特征；通过特征识别模块利用识别程序对提取的特征进行识别；

步骤四，通过模态转换模块利用转换程序对不同模态医学影像进行转换操作；

步骤五，通过打印模块利用打印机将采集的影像进行打印操作；

步骤六，通过显示模块利用显示器显示采集医学影像数据信息。

进一步，所述基于深度学习的多模态医学影像识别方法的影像特征提取方法如下：

(1)多模态医学影像预处理及张量构造；读取多模态医学DICOM格式图像；根据标注信息提取图像待提取区域并对多模态图像进行归一化；用张量形式表示归一化后的多模态图像数据；

(2)带标签约束的张量分解及特征空间数据投影；对得到的张量进行带标签约束的张量分解得到核心张量；将张量数据投影到核心张量对应的子空间上；用投影空间上的数据作为训练数据训练分类器；

(3)多模态医疗影像融合；提取多模态影像数据的候选区域；将候选区域投影到子空间上，输入训练好的分类器中得出待提取区域的提取结果。

进一步，所述基于深度学习的多模态医学影像识别方法的模态转换方法如下：