[发明专利]图像处理方法、装置、多模态成像系统、存储介质及设备

说明书

本申请提出一种图像处理方法、装置、多模态成像系统、存储介质及设备，获取多模态初始图像；通过神经网络得到第一初始图像及第二初始图像包含的图像特征；根据第一初始图像及第二初始图像包含的图像特征，通过神经网络对至少一种模态的初始图像进行图像重建处理，得到对应的重建图像。通过多模态初始图像进行特征提取，获取所有模态初始图像包含的图像特征，并结合所有模态的包含的图像特征分别对单模态的初始图像进行图像重建处理，可以使得单模态的重建图像包含更多的图像特征，从而可以提高重建图像的质量，诊断人员在根据重建图像进行诊断分析时，可以根据更多的图像特征得到更准确的目标信息，进而提高诊断分析的准确性。

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、多模态成像系统、存储介质及设备。

背景技术

随着现代医学技术的日益发展，医学影像技术也日渐成熟。在现有多种成像技术的基础上，不同成像技术的结合使用在临床诊断时可以更加全面地获取患者信息，例如，较为常用的PET/MRI技术是将PET(正电子发射计算机断层显像)的分子成像功能与MRI(核磁共振成像)软组织对比功能结合起来的一种技术，PET/MRI技术具有辐射剂量小，软组织成像分辨率高等优点，然而，该技术也存在扫描速度较慢的问题，从而导致该技术需要花费较长的扫描时间。

传统技术为了缩短PET/MRI的扫描时间，在数据采集的过程中采用降采样的方式完成PET/MRI的数据采样工作。然而，通过降采样数据得到的降采样图像质量较差，诊断人员在根据低质量的降采样图像进行诊断分析时，无法清楚、准确地获取诊断过程中所需要的目标信息，从而降低诊断分析的准确性。

发明内容

基于此，有必要针对上述问题，提供一种可以提高重建图像质量的图像处理方法、装置、多模态成像系统、存储介质及设备。

一种图像处理方法，包括：

获取多模态初始图像，所述多模态初始图像至少包括第一模态的第一初始图像及第二模态的第二初始图像；

通过神经网络对所述第一初始图像及所述第二初始图像进行特征提取，得到所述第一初始图像及所述第二初始图像包含的图像特征；

根据所述第一初始图像及所述第二初始图像包含的图像特征，通过所述神经网络对所述第一初始图像和所述第二初始图像中的至少一种模态的初始图像进行图像重建处理，得到对应的重建图像。

在其中一些实施例中，所述第一初始图像为正电子发射断层图像；

所述第二初始图像为磁共振图像或计算机断层图像，所述第二初始图像为根据降采样数据得到的图像。

在其中一些实施例中，所述获取多模态初始图像的步骤之后，所述通过神经网络对所述第一初始图像及所述第二初始图像进行特征提取的步骤之前，还包括：

对所述第一初始图像及所述第二初始图像进行图像配准处理。

在其中一个实施例中，所述神经网络为最小二乘生成式对抗网络；

所述通过神经网络对所述第一初始图像及所述第二初始图像进行特征提取，得到所述第一初始图像及所述第二初始图像包含的图像特征的步骤，包括：

通过所述最小二乘生成式对抗网络，对所述第一初始图像及所述第二初始图像进行下采样处理，得到不同分辨率的下采样图像；

对所述不同分辨率的下采样图像进行图像特征提取，得到所述第一初始图像及所述第二初始图像的不同分辨率的下采样图像包含的图像特征。

在其中一些实施例中，所述根据所述第一初始图像及所述第二初始图像包含的图像特征，通过所述神经网络对所述第一初始图像和所述第二初始图像中的至少一种模态的初始图像进行图像重建处理，得到对应的重建图像的步骤，包括：