[发明专利]多模态融合的动作识别方法、装置及计算机可读存储介质

说明书

本发明提供一种多模态融合的动作识别方法、装置及计算机可读存储介质，方法包括：通过预设的单模态待训练数据对至少一个单模态待训练模型进行训练，获得至少一个单模态神经网络模型；在任意两个所述单模态神经网络模型之间添加信息流动连接，获得多模态待训练模型；通过预设的多模态待训练数据对所述多模态待训练模型进行训练，获得多模态神经网络模型；将待识别多模态数据添加至所述多模态神经网络模型中进行识别。从而能够实现对多模态待识别设备的处理，提高神经网络模型的性能。

技术领域

本发明涉及计算机领域，尤其涉及一种多模态融合的动作识别方法、装置及计算机可读存储介质。

背景技术

随着科技的发展，用于认知的人工智能得到了很大的发展，应用新颖的材料和先进的技术，认知的能力也有了显著地进步，从环境的认知，到人体的认知，从静态的认知，到动态的认知。对于认知而言，一个重要环节就是对人体的认知，利用计算机视觉的人工智能在实际的认知中，动作的识别是其中比较重要的一个部分。人体的动作是指身体的活动或行动，在日常的生活，人体本身就是一个动态的生活过程，所谓的静态也只是动态的一个衔接过程。因而，提高认知的能力，其中的一个大问题就是人体动作的识别研究。

为了实现对动作的识别，现有技术中一般都是建立动作识别网络模型，并对其进行训练，后续可以将待识别数据添加至动作识别网络模型中进行识别。

但是，随着深度摄像机的发展，可以获取的视频信息越来越丰富，除传统的RGB视频之外，深度视频、红外视频、人体骨架视频等视频模态也更易获得。不同模态的视频具有不同的特征，以深度视频为例，相比较RGB视频，深度视频去除了纹理信息，但增加了第三维的信息，在刻画动作时具有更好的空域表现能力。然而，上述方法只能够实现对一种模态的数据进行动作识别，由于多模态数据在表现形式上的差异性，不同模态间互补信息的挖掘依然存在困难。

发明内容

本发明提供一种多模态融合的动作识别方法、装置及计算机可读存储介质，用于解决现有技术中由于多模态数据在表现形式上的差异性，不同模态的待识别数据无法进行动作识别的技术问题。

本发明的第一个方面是提供一种多模态融合的动作识别方法，包括：

通过预设的单模态待训练数据对至少一个单模态待训练模型进行训练，获得至少一个单模态神经网络模型；

在任意两个所述单模态神经网络模型之间添加信息流动连接，获得多模态待训练模型；

通过预设的多模态待训练数据对所述多模态待训练模型进行训练，获得多模态神经网络模型；

将待识别多模态数据添加至所述多模态神经网络模型中进行识别。

本发明的另一个方面是提供一种多模态融合的动作识别装置，包括：

第一训练模块，用于通过预设的单模态待训练数据对至少一个单模态待训练模型进行训练，获得至少一个单模态神经网络模型；

连接模块，用于在任意两个所述单模态神经网络模型之间添加信息流动连接，获得多模态待训练模型；

第二训练模块，用于通过预设的多模态待训练数据对所述多模态待训练模型进行训练，获得多模态神经网络模型；

识别模块，用于将待识别多模态数据添加至所述多模态神经网络模型中进行识别。

本发明的又一个方面是提供一种多模态融合的动作识别装置，包括：存储器，处理器；

存储器；用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为由所述处理器执行如上述的多模态融合的动作识别方法。