[发明专利]多模态融合的动作识别方法、装置及计算机可读存储介质

权利要求书

1.一种多模态融合的动作识别方法，其特征在于，包括：

通过预设的单模态待训练数据对至少一个单模态待训练模型进行训练，获得至少一个单模态神经网络模型；

在任意两个所述单模态神经网络模型之间添加信息流动连接，获得多模态待训练模型；

通过预设的多模态待训练数据对所述多模态待训练模型进行训练，获得多模态神经网络模型；

将待识别多模态数据添加至所述多模态神经网络模型中进行识别。

2.根据权利要求1所述的方法，其特征在于，所述通过预设的单模态待训练数据对至少一个单模态待训练模型进行训练，获得至少一个单模态神经网络模型，包括：

将所述单模态待训练数据转换为多帧图像，并根据所述单模态待训练数据对应的多帧图像对所述单模态待训练模型进行训练；

针对每一所述单模态待训练模型，接收所述单模态待训练模型输出的第一训练结果；

根据所述第一训练结果与预设的第一真实结果计算所述单模态待训练模型的第一网络误差；

根据所述第一网络误差对所述单模态待训练模型进行参数调整，直至所述单模态待训练模型收敛，获得所述单模态神经网络模型。

3.根据权利要求1所述的方法，其特征在于，所述通过预设的多模态待训练数据对所述多模态待训练模型进行训练，获得多模态神经网络模型，包括：

将所述多模态待训练数据转换为多帧图像，并根据所述多模态待训练数据对应的多帧图像对所述多模态待训练模型进行训练；

接收所述多模态待训练模型输出的第二训练结果；

根据所述第二训练结果与预设的第二真实结果计算所述多模态待训练模型的第二网络误差；

根据所述第而网络误差对所述多模态待训练模型进行参数调整，直至所述多模态待训练模型收敛，获得所述多模态神经网络模型。

4.根据权利要求1所述的方法，其特征在于，所述将待识别多模态数据添加至所述多模态神经网络模型中进行识别，包括：

将所述待识别多模态数据转换为多帧图像，将所述待识别多模态数据对应的多帧图像添加至所述多模态神经网络模型中；

选取所述待识别多模态数据对应的K帧图像对应的输出结果；

计算所述K帧图像对应的输出结果的平均值，将所述平均值作为识别结果。

5.根据权利要求2所述的方法，其特征在于，所述根据所述第一网络误差对所述单模态待训练模型进行参数调整，直至所述单模态待训练模型收敛，获得所述单模态神经网络模型，包括：

根据所述第一网络误差通过反向传播的方法对所述单模态待训练模型进行参数调整，直至所述单模态待训练模型收敛，获得所述单模态神经网络模型。

6.一种多模态融合的动作识别装置，其特征在于，包括：

第一训练模块，用于通过预设的单模态待训练数据对至少一个单模态待训练模型进行训练，获得至少一个单模态神经网络模型；

连接模块，用于在任意两个所述单模态神经网络模型之间添加信息流动连接，获得多模态待训练模型；

第二训练模块，用于通过预设的多模态待训练数据对所述多模态待训练模型进行训练，获得多模态神经网络模型；

识别模块，用于将待识别多模态数据添加至所述多模态神经网络模型中进行识别。

7.根据权利要求6所述的装置，其特征在于，所述第一训练模块包括：

第一转换单元，用于将所述单模态待训练数据转换为多帧图像，并根据所述单模态待训练数据对应的多帧图像对所述单模态待训练模型进行训练；

第一接收单元，用于针对每一所述单模态待训练模型，接收所述单模态待训练模型输出的第一训练结果；

第一计算单元，用于根据所述第一训练结果与预设的第一真实结果计算所述单模态待训练模型的第一网络误差；

第一调整单元，用于根据所述第一网络误差对所述单模态待训练模型进行参数调整，直至所述单模态待训练模型收敛，获得所述单模态神经网络模型。