[发明专利]人体行为识别方法及电子设备

说明书

本申请提供一种人体行为识别方法及电子设备。该方法包括：对采集的视频数据片段进行三维姿态估计，得到视频数据片段中每个人的三维骨骼点坐标，视频数据片段包括深度数据流和彩色数据流；选取视频数据片段中的两个人，根据两个人的重心距离和运动矢量确定出两个人的动作类型，动作类型为单人动作或双人交互动作，重心距离和运动矢量根据每个人的三维骨骼点坐标计算得到；根据确定出的动作类型，将动作类型对应的每个人的三维骨骼点坐标输入到动作模型中进行动作识别，得到动作识别结果，其中，不同的动作类型对应的动作模型不同。从而可准确地识别出人体行为。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种人体行为识别方法及电子设备。

背景技术

人体行为识别是指将包含人体动作的视频添加上动作类型的标签，随着社会生活节奏的加快，对家庭中老人、儿童的健康状态和生活状态的监护已成为日渐突出的社会问题，通过人体行为识别技术来建立智能的家居环境，已成为学界的研究热点。

日常生活中的行为多数发生在个体自身或者两个个体之间，发生在个体自身行为称为单人动作，发生在两个个体之间的行为称为双人交互动作，单人动作比如摔倒、写字、坐下、行走等，双人交互动作比如拥抱、打架、拖拽等。在家居生活中，不仅存在着单人动作，双人交互动作在日常生活中也非常普遍。如何能够自动识别出单人动作和双人交互动作，是提高人体行为识别准确率的一个重要途径。

现有的人体行为识别方法中，是通过将单人动作输入到卷积网络模型中进行动作识别，适用于单人场景下的行为识别，而在多人场景下，不同个体的动作通常不会一致，个体之间可能存在互相影响、遮挡等情况，若依然使用现有的人体行为识别方法，识别准确率不高。

发明内容

本申请提供一种人体行为识别方法及电子设备，以解决多人场景下的人体行为识别问题。

第一方面，本申请提供一种人体行为识别方法，包括：

对采集的视频数据片段进行三维姿态估计，得到所述视频数据片段中每个人的三维骨骼点坐标，所述视频数据片段包括深度数据流和彩色数据流；

选取所述视频数据片段中的两个人，根据两个人的重心距离和运动矢量确定出两个人的动作类型，所述动作类型为单人动作或双人交互动作，所述重心距离和运动矢量根据每个人的三维骨骼点坐标计算得到；

根据确定出的动作类型，将所述动作类型对应的每个人的三维骨骼点坐标输入到动作模型中进行动作识别，得到动作识别结果，其中，不同的动作类型对应的动作模型不同。

第二方面，本申请提供一种电子设备，包括：

第一处理模块，用于对采集的视频数据片段进行三维姿态估计，得到所述视频数据片段中每个人的三维骨骼点坐标，所述视频数据片段包括深度数据流和彩色数据流；

确定模块，用于选取所述视频数据片段中的两个人，根据两个人的重心距离和运动矢量确定出两个人的动作类型，所述动作类型为单人动作或双人交互动作，所述重心距离和运动矢量根据每个人的三维骨骼点坐标计算得到；

动作识别模块，用于将所述动作类型对应的每个人的三维骨骼点坐标输入到动作模型中进行动作识别，得到动作识别结果，其中，不同的动作类型对应的动作模型不同。

本申请提供的人体行为识别方法及电子设备，通过对采集的视频数据片段进行三维姿态估计，得到视频数据片段中每个人的三维骨骼点坐标，视频数据片段包括深度数据流和彩色数据流，接着选取视频数据片段中的两个人，根据两个人的重心距离和运动矢量确定出两个人的动作类型，最后根据确定出的动作类型，将动作类型对应的每个人的三维骨骼点坐标输入到动作模型中进行动作识别，得到动作识别结果，不同的动作类型对应的动作模型不同。从而可准确地识别出人体行为，三维姿态估计算法解决了场景背景复杂对人体行为识别的影响，此外，由于可以对视频数据中的每个人的行为进行识别，进一步减小了漏报的概率，提高识别的准确率，解决了多人场景下的人体行为识别问题。