[发明专利]多模态特征选择与图像数据分类方法、装置及计算机设备

说明书

本发明公开一种多模态特征选择与图像数据分类方法、装置及计算机设备。该多模态特征选择方法包括：分别获取对应多个模态的多张图像的数据集；分别对所述多张图像进行特征提取，分别确定与所述多个模态相对应的多个第一特征集；以及基于预设的多模态特征选择模型，对所述多个第一特征集中的特征进行筛选，确定第二特征集；其中，所述多模态特征选择模型包括：距离子模型，用于使对应多个模态的、类别相同的图像数据在相应的第一特征集构建的特征空间中的映射点投影于所述第二特征集构建的特征空间后的距离最小。根据本发明提供的多模态特征选择方法，能够有效地诱导多模态特征选择模型选择出具有高判别性的特征。

技术领域

本发明涉及计算机技术领域，尤其涉及一种多模态特征选择与图像数据分类方法、装置、计算机设备及计算机可读存储介质。

背景技术

以医学成像领域为例，多模态图像指就同一临床诊断，同时从MRI(MagneticResonance Imaging，核磁共振成像)和PET(Position Emission Tomography，正电子发射成像)等不同渠道获得的图像。随着图像数据的增多，通过手工勾画的方式分析多模态图像使医生的工作负担不断加重，因此目前迫切需要计算机辅助技术对多模态图像进行分析处理。

在多模态图像分析中，由于从原始医学图像中提取的特征通常具有较高维数，而临床中仅有少量样本包含完整的多模态数据，应用时很有可能产生维数灾难。而深度学习需要使用大量样本对模型进行训练，如果在高维特征下样本数较少，将会导致严重的过拟合问题。因此，如何通过特征学习选择保留部分具有高判别性的特征，以有效地改善机器学习算法泛化能力，是目前多模态图像分析领域面临的重要课题。

需要说明的是，在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种多模态特征选择与图像数据分类方法、装置、计算机设备及计算机可读存储介质。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一方面，提供一种多模态特征选择方法，包括：分别获取对应多个模态的多张图像的数据集，每张图像的数据集包含对应图像多个位置点的多个图像数据；分别对所述多张图像进行特征提取，分别确定与所述多个模态相对应的多个第一特征集；以及基于预设的多模态特征选择模型，对所述多个第一特征集中的特征进行筛选，确定第二特征集；其中，所述多模态特征选择模型包括：距离子模型，用于使对应多个模态的、类别相同的图像数据在相应的第一特征集构建的特征空间中的映射点投影于所述第二特征集构建的特征空间后的距离最小。

根据本发明的一实施方式，所述距离子模型包含标号对齐的正则化函数。

根据本发明的一实施方式，所述标号对齐的正则化函数如下式：

其中，μ为正则化参数，p、q表示模态，w^p、w^q分别表示p、q模态对应的权重向量，W＝[w¹，w²，…，w^M]为M个模态对应的权重矩阵，和分别表示p、q模态的图像数据在相应的第一特征集构建的特征空间中的映射点，i、j表示图像数据在对应图像中的N个位置点的编号，

其中，y_i、y_j分别为和所对应的图像数据的类别标号。

根据本发明的一实施方式，所述多模态特征选择模型的目标函数基于加速近似梯度算法实现求解。

根据本发明的一实施方式，分别对所述多张图像进行特征提取包括：根据预定义模板，分别对每个模态的图像进行特征提取。