[发明专利]一种多模态数据处理方法、装置、设备及存储介质

说明书

本申请公开了一种多模态数据处理方法、装置、设备及存储介质，该方法包括：获取目标物体的不同光学模态信息，制作多模态数据集；构建多模态融合网络模型；多模态融合网络模型包括用于提取各模态特征的模态特征提取网络，用于将各模态特征进行合并的模态特征融合网络，以及用于将合并后的目标特征进行分类任务或回归任务的决策网络；利用多模态数据集训练多模态融合网络模型；获取待测物体的不同光学模态信息，并输入至训练完成的多模态融合网络模型中，输出分类结果或回归结果。这样可以获取物体的各光学模态的丰富特征以及不同光学模态之间的内在关系，高效完成分类或回归任务，进而促进多模态人工智能信息提取和融合的发展，提升竞争力。

技术领域

本发明涉及多模态信息处理领域，特别是涉及一种多模态数据处理方法、装置、设备及存储介质。

背景技术

人们对世界的体验是多模态的，为了让人工智能更好地理解人们周围的世界，它需要能够解释和推理多模态信息。在多模态机器学习中，由于不同模态之间可能会存在互补的信息，使用多种模态的数据，可以让模型做出更鲁棒的预测。除此之外当其中一种模态数据缺失时，多模态系统仍然可以运行。近年来多模态机器学习快速发展起来，涉及的领域包括视听语音识别、多模态情感识别、医学图像分析以及多媒体事件检测等。

尽管学术界产业界在多模态融合领域已经取得了诸多进展，但现阶段的研究主要是针对图片、语音和文字这三种模态。针对一些光学模态，例如偏振、频率等，其相关的多模态数据集和多模态数据融合却研究甚少，但光学模态中丰富的目标和环境特征，对目标识别、安防、生物医学等领域都有重要意义。

发明内容

有鉴于此，本发明的目的在于提供一种多模态数据处理方法、装置、设备及存储介质，可以获取物体的各光学模态的丰富特征以及不同光学模态之间的内在关系，高效完成分类或回归任务，进而促进多模态信息提取和融合的发展。其具体方案如下：

一种多模态数据处理方法，包括：

获取目标物体的不同光学模态信息，制作多模态数据集；

构建多模态融合网络模型；所述多模态融合网络模型包括用于提取各模态特征的模态特征提取网络，用于将各模态特征进行合并的模态特征融合网络，以及用于将合并后的目标特征进行分类任务或回归任务的决策网络；

利用所述多模态数据集训练所述多模态融合网络模型；

获取待测物体的不同光学模态信息，并输入至训练完成的所述多模态融合网络模型中，输出分类结果或回归结果。

优选地，在本发明实施例提供的上述多模态数据处理方法中，所述获取目标物体的不同光学模态信息，包括：

获取目标物体的强度、偏振和频率这三个不同模态中至少两个模态的信息。

优选地，在本发明实施例提供的上述多模态数据处理方法中，获取目标物体的强度、偏振和频率这三个不同模态的信息，包括：

通过分光系统将来自目标物体的反射光分为第一光束和第二光束；所述第一光束传输至光学微偏振器系统；所述第二光束传输至傅里叶4f系统；

通过所述光学微偏振器系统获取强度信息和偏振信息；

同时，通过所述傅里叶4f系统获取频率信息。

优选地，在本发明实施例提供的上述多模态数据处理方法中，所述光学微偏振器系统包括第一凸透镜、微偏振片和第一探测器；其中，

所述第一凸透镜，用于将所述第一光束会聚到所述微偏振片上；

所述微偏振片，用于同时采集强度信息和偏振信息；

所述第一探测器，用于将所述微偏振片采集的强度信息和偏振信息转化为二维矩阵数据。