[发明专利]一种基于第一人称视角的动作识别方法及装置

说明书

本发明公开了一种基于第一人称视角的动作识别方法及装置，其方法包括：获取待处理RGB视频帧；待处理RGB视频帧包含基于第一人称视角的手部动作图像信息；将所有待处理RGB视频帧输入到预先训练的HOPE‑Net深度神经网络，得到对应的手部关节点位置信息；从所有待处理RGB视频帧中挑选预定数量的目标RGB视频帧，并输入I3D模型中识别，得到对应的视频帧特征；将手部关节点位置信息输入AGCN模型，得到对应的位置信息特征；将视频帧特征和位置信息特征一一对应融合，得到识别动作指令的概率。将视频帧依次进行手骨骼关节提取，RGB和骨骼动作特征提取，最后进行特征融合得到动作指令概率，从而摆脱对外部硬件设备的依赖，并且对于光照和场景变化有强鲁棒性。

技术领域

本发明涉及动作识别技术领域，尤其涉及一种基于第一人称视角的动作识别方法及装置。

背景技术

虽然机器人可以通过从人类的演示视频中学习动作，从而很好地了解人类的行为意图并自主学习人类的行为，但在实际应用中，机器人对人类行为的学习需要一个细致的理解过程，尤其是对来源于日常活动的行为学习，对于机器人来说是特别具有挑战性的，例如：基于穿戴式相机拍摄的第一人称视频中，机器人只能从单一的角度获取人类手部的操作动作，在这种情况下，充满着诸如手部移动较快，以及手部操作时候出现遮挡现象等，从而产生很大程度的不可预测性。因此，机器人对于人类动作的细微差异的识别，并对人类动作加以学习和执行的过程，仍然是目前机器人技术领域的一大难题，尤其是在研究热点之一的第一人称视角的动作识别方向上。

基于第一人称视角动作识别的方法，现今的方法主要包括三种：(1)利用传感器如LeapMtion，采集演示视频中手关节的信息，进而辅助动作识别，这种方法需要硬件的支持，并且要求操作人员需要在特定的环境下演示动作； (2)对于演示视频，利用稠密轨迹表示运动特征，以及利用HOG采集手势特征，这种方法往往会受到背景和相机移动带来的干扰，并且计算量较大；(3) 分割出演示视频中操作者的手部再输入到深度神经网络中进行识别，这种方法虽然可以有效的减少背景的干扰，但是缺失了大部分的原始信息。显而易见，现有的基于第一人称视角的动作识别方法都存在一定的缺陷。

综上所述，提出一个能摆脱对外部硬件设备的依赖，并且对于光照和场景变化有强鲁棒性的第一人称视角的动作识别方案，具有重要的意义。

发明内容

本发明提供了一种基于第一人称视角的动作识别方法及装置，能够摆脱对外部硬件设备的依赖，并且对于光照和场景变化有强鲁棒性。

第一方面，本发明提供的一种基于第一人称视角的动作识别方法，包括：

获取待处理RGB视频帧；所述待处理RGB视频帧包含基于第一人称视角的手部动作图像信息；

将所有所述待处理RGB视频帧输入到预先训练的HOPE-Net深度神经网络，得到对应的手部关节点位置信息；

从所有所述待处理RGB视频帧中挑选预定数量的目标RGB视频帧，并输入I3D模型中识别，得到对应的视频帧特征；

将所述手部关节点位置信息输入AGCN模型，得到对应的位置信息特征；

将所述视频帧特征和所述位置信息特征一一对应融合，得到识别动作指令的概率。

可选地，所述HOPE-Net深度神经网络包括：ResNet10网络和自适应图 U-Net网络；将所有所述RGB视频帧输入到预先训练的HOPE-Net深度神经网络，得到对应的手部关节点位置信息，包括：

通过ResNet网络对所有所述RGB视频帧进行编码和预测，得到多个对应的目标平面直角坐标点；

将多个所述目标平面直角坐标点输入自适应U-Net网络，得到所述RGB 视频帧对应的手部关节点位置信息。