[发明专利]一种多模态数据处理方法、装置、设备及存储介质

权利要求书

1.一种多模态数据处理方法，其特征在于，包括：

获取目标物体的不同光学模态信息，制作多模态数据集；

构建多模态融合网络模型；所述多模态融合网络模型包括用于提取各模态特征的模态特征提取网络，用于将各模态特征进行合并的模态特征融合网络，以及用于将合并后的目标特征进行分类任务或回归任务的决策网络；

利用所述多模态数据集训练所述多模态融合网络模型；

获取待测物体的不同光学模态信息，并输入至训练完成的所述多模态融合网络模型中，输出分类结果或回归结果。

2.根据权利要求1所述的多模态数据处理方法，其特征在于，所述获取目标物体的不同光学模态信息，包括：

获取目标物体的强度、偏振和频率这三个不同模态中至少两个模态的信息。

3.根据权利要求2所述的多模态数据处理方法，其特征在于，获取目标物体的强度、偏振和频率这三个不同模态的信息，包括：

通过分光系统将来自目标物体的反射光分为第一光束和第二光束；所述第一光束传输至光学微偏振器系统；所述第二光束传输至傅里叶4f系统；

通过所述光学微偏振器系统获取强度信息和偏振信息；

同时，通过所述傅里叶4f系统获取频率信息。

4.根据权利要求3所述的多模态数据处理方法，其特征在于，所述光学微偏振器系统包括第一凸透镜、微偏振片和第一探测器；其中，

所述第一凸透镜，用于将所述第一光束会聚到所述微偏振片上；

所述微偏振片，用于同时采集强度信息和偏振信息；

所述第一探测器，用于将所述微偏振片采集的强度信息和偏振信息转化为二维矩阵数据。

5.根据权利要求4所述的多模态数据处理方法，其特征在于，所述微偏振片中每个像素单元包括用于采集强度信息的两个增透子单元和用于采集偏振信息的两个线偏振子单元；

两个所述线偏振子单元呈对角分布；两个所述增透子单元呈对角分布。

6.根据权利要求3所述的多模态数据处理方法，其特征在于，所述傅里叶4f系统包括第二凸透镜、第三凸透镜、衍射屏和第二探测器；其中，

所述第二凸透镜，位于目标物体与所述分光系统之间，用于将来自目标物体的反射光进行会聚，得到平行光并传输至所述分光系统；

所述衍射屏，位于所述分光系统和所述第三凸透镜之间，用于将所述第二光束进行衍射，得到衍射光；

所述第三凸透镜，用于将所述衍射光会聚到所述第二探测器上；

所述第二探测器，用于采集频谱信号。

7.根据权利要求1所述的多模态数据处理方法，其特征在于，所述模态特征提取网络包括多个模态特征提取子网络；各所述模态特征提取子网络与各模态一一对应。

8.根据权利要求7所述的多模态数据处理方法，其特征在于，各所述模态特征提取子网络的输入为二维矩阵形式的多模态数据集，输出为模态嵌入向量；

所述模态特征融合网络的输入为所述模态嵌入向量，输出为通过计算三重笛卡尔乘积得到的融合模态。

所述决策网络的输入为所述融合模态，输出为完成分类任务或回归任务后的结果。

9.一种多模态数据处理装置，其特征在于，包括：

多模态信息采集模块，用于获取目标物体的不同光学模态信息；还用于获取待测物体的不同光学模态信息；

数据集制作模块，用于根据目标物体的不同光学模态信息，制作多模态数据集；

模型构建模块，用于构建多模态融合网络模型；所述多模态融合网络模型包括用于提取各模态特征的模态特征提取网络，用于将各模态特征进行合并的模态特征融合网络，以及用于将合并后的目标特征进行分类任务或回归任务的决策网络；

模型训练模块，用于利用所述多模态数据集训练所述多模态融合网络模型；

模型推理模块，用于将待测物体的不同光学模态信息输入至训练完成的所述多模态融合网络模型中，输出分类结果或回归结果。