[发明专利]行为识别方法、装置、电子设备以及存储介质

说明书

本发明提供一种行为识别方法、装置、电子设备以及存储介质，其中方法包括：确定待识别人员的骨架数据和人体图像；基于行为识别模型，对骨架数据和人体图像中的各人体区域分别进行特征提取，基于特征提取所得的骨架特征和各区域图像特征之间的相关性，对骨架特征和各区域图像特征进行融合，并基于融合所得的特征进行行为识别；行为识别模型是基于样本骨架数据，样本人体图像以及行为标签训练得到的，以骨架特征和各区域图像特征之间的相关性为基准，对此两者进行融合，能够使融合所得的行为识别特征增添动作相关区域的细微特征，据此进行行为识别，能够克服传统方案中对于具有相似姿态的行为识别易出现误判的缺陷，提升了行为识别的精度。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种行为识别方法、装置、电子设备以及存储介质。

背景技术

行为识别实际上是从一个未知的视频中分析正在进行的动作类别。人类的行为可以通过多种数据模态进行表示，例如，RGB、骨架、深度、光流等。不同的数据模态在不同的场景下具有不同的优势，而对于不同的模态数据，需采用不同的方法进行特征提取。

其中，RGB数据常通过CNN（Convolutional Neural Networks，卷积神经网络）进行特征提取，RGB数据中包含丰富的场景上下文表观信息，基于RGB数据的CNN提取到的时空特征可以有效地进行行为识别。但是，上述进行特征提取的方法受多种因素的影响，例如，背景、视角、目标尺度、光照条件等，这给基于RGB 数据的行为识别带来了极大的挑战。

骨架数据常通过GCN（Graph Convolutional Network，图卷积网络）进行特征提取，骨架数据刻画了人体姿态轨迹的信息，其不受光照、视角、背景等因素的影响，因而，基于骨架数据的GCN行为识别能够在一定程度上提升行为识别的精度，但是，其对于姿态相似的行为识别容易出现误判。

发明内容

本发明提供一种行为识别方法、装置、电子设备以及存储介质，用以解决现有技术中对于具有相似姿态的行为识别易出现误判的缺陷。

本发明提供一种行为识别方法，包括：

确定待识别人员的骨架数据和人体图像；

基于行为识别模型，对所述骨架数据和所述人体图像中的各人体区域分别进行特征提取，基于特征提取所得的骨架特征和各区域图像特征之间的相关性，对所述骨架特征和各区域图像特征进行融合，并基于融合所得的特征进行行为识别；

所述行为识别模型是基于样本骨架数据，样本人体图像以及行为标签训练得到的。

根据本发明提供的一种行为识别方法，所述基于特征提取所得的骨架特征和各区域图像特征之间的相关性，对所述骨架特征和各区域图像特征进行融合，包括：

基于所述骨架特征，以及所述各区域图像特征，确定各区域加权图像特征；

对所述骨架特征和所述各区域加权图像特征进行融合。

根据本发明提供的一种行为识别方法，所述基于所述骨架特征，以及所述各区域图像特征，确定各区域加权图像特征，包括：

基于所述各区域图像特征，确定各区域注意力图像特征和各区域原始特征；

基于所述骨架特征，以及所述各区域注意力图像特征，确定各区域的权重；

基于所述各区域的权重，以及所述各区域原始特征，确定各区域加权图像特征。

根据本发明提供的一种行为识别方法，所述对所述人体图像中的各人体区域进行特征提取，包括：

对所述人体图像进行区域划分，确定所述人体图像中的各人体区域，以及所述各人体区域的顶点坐标；

基于所述各人体区域的顶点坐标，通过双线性插值对所述人体图像中的各人体区域进行特征提取。