[发明专利]用于智能巡检的多模态样本集生成方法、训练方法及装置

说明书

本公开提供了一种用于智能巡检的多模态样本集生成方法、训练方法及装置，涉及人工智能技术领域，尤其涉及深度学习、自然语言处理、语音技术、计算机视觉、大数据等领域。具体实现方案为：将采集到的多模态环境样本集中的环境样本输入与环境样本的模态相匹配的单模态模型，得到与环境样本相对应的模型处理结果。根据模型处理结果，从多模态环境样本集中确定初始样本集。通过主动学习的方式对初始样本集进行处理，确定多模态样本集。

技术领域

本公开涉及人工智能技术领域，尤其涉及深度学习、自然语言处理、语音技术、计算机视觉、大数据等领域，具体地，涉及一种用于智能巡检的多模态样本集生成方法、训练方法及装置。

背景技术

深度学习，也称为深度结构化学习或分层学习，是基于人工神经网络的更广泛的机器学习方法族的一部分。深度学习架构，例如深度神经网络、深度信念网络、循环神经网络和卷积神经网络，已经被应用于包括计算机视觉、语音识别、自然语言处理、音频识别、社交网络过滤、机器翻译、生物信息学、药物设计、医学图像分析、材料检查和棋盘游戏程序在内的领域。为保证各领域内输出结果的准确性，相应的模型训练必不可少。样本是用于实现模型训练的重要数据基础。

发明内容

本公开提供了一种多模态样本集生成方法、多模态模型的训练方法、多模态信息处理方法、装置、电子设备以及存储介质。

根据本公开的一方面，提供了一种多模态样本集生成方法，包括：将采集到的多模态环境样本集中的环境样本输入与所述环境样本的模态相匹配的单模态模型，得到与所述环境样本相对应的模型处理结果；根据所述模型处理结果，从所述多模态环境样本集中确定初始样本集；以及通过主动学习的方式对所述初始样本集进行处理，确定多模态样本集。

根据本公开的另一方面，提供了一种多模态模型的训练方法，包括：将多模态样本集中的第二目标样本集输入与所述第二目标样本集的模态相匹配的目标单模态模型，得到多个单模态特征，其中，所述多模态样本集是根据本公开的多模态样本集生成方法确定的，所述多模态样本集包括多个第二目标样本集，每个第二目标样本集与一种模态相匹配，所述目标单模态模型是经训练的单模态模型；根据所述多个单模态特征，确定多模态融合特征；以及根据所述多模态融合特征，对多模态模型进行训练。

根据本公开的另一方面，提供了一种多模态信息处理方法，包括：将多模态信息输入多模态模型，得到处理结果；其中，所述多模态模型是利用根据本公开的多模态模型的训练方法训练得到的。

根据本公开的另一方面，提供了一种多模态样本集生成装置，包括：第一获得模块，用于将采集到的多模态环境样本集中的环境样本输入与所述环境样本的模态相匹配的单模态模型，得到与所述环境样本相对应的模型处理结果；第一确定模块，用于根据所述模型处理结果，从所述多模态环境样本集中确定初始样本集；以及第二确定模块，用于通过主动学习的方式对所述初始样本集进行处理，确定多模态样本集。

根据本公开的另一方面，提供了一种多模态模型的训练装置，包括：第二获得模块，用于将多模态样本集中的第二目标样本集输入与所述第二目标样本集的模态相匹配的目标单模态模型，得到多个单模态特征，其中，所述多模态样本集是根据本公开的多模态样本集生成装置确定的，所述多模态样本集包括多个第二目标样本集，每个第二目标样本集与一种模态相匹配，所述目标单模态模型是经训练的单模态模型；第三确定模块，用于根据所述多个单模态特征，确定多模态融合特征；以及训练模块，用于根据所述多模态融合特征，对多模态模型进行训练。

根据本公开的另一方面，提供了一种多模态信息处理装置，包括：第三获得模块，用于将多模态信息输入多模态模型，得到处理结果；其中，所述多模态模型是利用根据本公开的多模态模型的训练装置训练得到的。