[发明专利]人体行为识别方法、装置以及机器人

权利要求书

1.一种人体行为识别方法，其特征在于，具有以下步骤：

训练视频输入步骤，输入用于训练的训练视频；

训练动态地图输入步骤，输入用于训练的与所述训练视频相对应的训练动态地图；

知识库输入步骤，输入人物行为规范或者管理规范作为知识库信息，并为知识库信息附加具有时序的运动特征；

视频信息处理步骤，对所述训练视频进行处理，分别按照时间顺序提取所述训练视频中的动态特征以及空间特征；

训练动态地图处理步骤，对所述训练动态地图进行处理，识别出所述训练动态地图中的动态人物，并生成所述动态人物的轨迹特征；

拼接步骤，以时间为基准，将所述运动特征、所述动态特征、所述空间特征、以及所述轨迹特征并列地拼接从而获得拼接时序特征；

分割步骤，将所述拼接时序特征在时间上进行等分，获得分割时序特征；

训练步骤，依次将所述分割时序特征输入至时序神经网络进行训练，直至收敛，并输出与所述训练视频以及所述训练动态地图相对应的动作标签；

实时视频获取步骤，获取作为识别对象的实时视频；

实时动态地图获取步骤，获取与所述实时视频相对应的实时动态地图；以及

识别步骤，对所述实时视频和所述实时动态地图进行识别，并输出与所述实时视频以及所述实时动态地图相对应的所述动作标签。

2.如权利要求1所述的人体行为识别方法，其特征在于，

所述动作标签为表示所述动态人物的当前行为、当前轨迹、预测行为、预测轨迹以及服务者应有行为、应有轨迹、规定的与所述动态人物的相对位置的信息。

3.如权利要求1所述的人体行为识别方法，其特征在于，

所述时序神经网络为循环神经网络，

所述动态特征是利用卷积神经网络处理所述训练视频的视频帧中的光流信息，提取所述训练视频中的动态特征值而获得的，

所述空间特征是利用卷积神经网络对所述训练视频中RGB帧数据进行特征提取而获得的，

所述轨迹特征是利用卷积神经网络处理所述训练动态地图的视频帧中的光流信息，提取所述训练动态地图中的动态特征值而获得的。

4.如权利要求1-3中的任一项所述的人体行为识别方法，其特征在于，

在知识库输入步骤中，输入将文本的人物行为规范或者管理规范与视频或者图片相匹配而获得的知识库信息。

5.一种人体行为识别装置，其特征在于，具备：

存储部，其存储有在如权利要求1-4中的任一项所述的人体行为识别方法的训练步骤中获得的所述动作标签,并以与所述训练视频中的所述动态特征、所述空间特征以及所述训练动态地图中的所述轨迹特征相关联的方式存储所述动作标签；

实时视频获取部，其获取作为识别对象的实时视频；

实时动态地图获取部，其获取与所述实时视频相对应的实时动态地图；以及

识别部，其所述实时视频和所述实时动态地图进行识别，并输出与所述实时视频以及所述实时动态地图相对应的所述动作标签。