[发明专利]用于智能巡检的多模态样本集生成方法、训练方法及装置

权利要求书

1.一种多模态信息处理方法，包括：

针对业务场景，采集可见光图像、红外热像图以及音频信息，得到多模态信息；

将所述多模态信息输入多模态模型；以及

基于所述多模态模型，对所述可见光图像的特征、所述红外热像图的特征以及所述音频信息的特征进行多模态融合及处理，得到处理结果，以从多个维度识别所述业务场景中的异常情况并进行预警；

其中，所述多模态模型是利用如下方法训练得到的：

将多模态样本集中的第二目标样本集输入与所述第二目标样本集的模态相匹配的目标单模态模型，得到多个单模态特征，其中，所述多模态样本集包括多个第二目标样本集，每个第二目标样本集与一种模态相匹配，所述目标单模态模型是经训练的单模态模型，所述多模态样本集是根据如下方法确定的：将采集到的多模态环境样本集中的环境样本输入与所述环境样本的模态相匹配的单模态模型，得到与所述环境样本相对应的模型处理结果；根据所述模型处理结果，从所述多模态环境样本集中确定初始样本集，其中，所述模型处理结果包括与所述模型处理结果相对应的置信度信息，所述根据所述模型处理结果，从所述多模态环境样本集中确定初始样本集包括：根据所述置信度信息，从所述多模态环境样本集中确定所述初始样本集；以及通过主动学习的方式对所述初始样本集进行处理，确定多模态样本集，其中，所述主动学习包括第一主动学习和第二主动学习，所述通过主动学习的方式对所述初始样本集进行处理，确定多模态样本集包括：通过第一主动学习的方式对所述初始样本集进行处理，得到中间样本集，通过第二主动学习的方式对所述中间样本集进行至少一个轮次的处理，得到与所述轮次相对应的中间样本子集，根据所述中间样本子集，确定所述多模态样本集；

根据所述多个单模态特征，确定多模态融合特征；以及

根据所述多模态融合特征，对多模态模型进行训练。

2.根据权利要求1所述的方法，其中，所述根据所述中间样本子集，确定所述多模态样本集包括：

将有标注的中间样本子集和第一其他样本子集确定为所述多模态样本集，其中，所述第一其他样本子集为所述中间样本集中除所述中间样本子集之外的其他样本的集合。

3.根据权利要求1所述的方法，其中，所述根据所述中间样本子集，确定所述多模态样本集包括：

将有标注的中间样本子集确定为所述多模态样本集。

4.根据权利要求1或3所述的方法，其中，所述至少一个轮次包括第一轮次至第M轮次，其中，M为正整数；

所述通过第二主动学习的方式对所述中间样本集进行至少一个轮次的处理，得到与所述轮次相对应的中间样本子集包括：

在所述第一轮次，通过所述第二主动学习的方式对所述中间样本集进行处理，得到与所述第一轮次相对应的中间样本子集；以及

在第m轮次，通过所述第二主动学习的方式对第二其他样本子集进行处理，得到与所述第m轮次相对应的中间样本子集，其中，所述第二其他样本子集为所述中间样本集中除与前m-1个轮次相对应的中间样本子集之外的其他样本的集合，其中，

m大于1且小于或等于M，m为正整数。

5.根据权利要求1所述的方法，其中，所述通过主动学习的方式对所述初始样本集进行处理，确定多模态样本集包括：

确定通过所述主动学习的方式对所述初始样本集进行处理得到的第一目标样本集；以及

将所述第一目标样本集确定为所述多模态样本集。

6.根据权利要求1所述的方法，其中，所述根据所述置信度信息，从所述多模态环境样本集中确定所述初始样本集包括：

确定与大于第一预设阈值的置信度信息相对应的第一目标环境样本集；

确定与小于第二预设阈值的置信度信息相对应的第二目标环境样本集，其中，所述第二预设阈值小于所述第一预设阈值；以及

根据所述第一目标环境样本集和所述第二目标环境样本集，确定所述初始样本集。

7.根据权利要求1所述的方法，其中，所述主动学习包括如下中的至少之一：基于不确定性采样的查询、基于委员会的查询以及基于模型变化期望的查询。