[发明专利]行为识别方法、装置、电子设备以及存储介质

权利要求书

1.一种行为识别方法，其特征在于，包括：

确定待识别人员的骨架数据和人体图像；

基于行为识别模型，对所述骨架数据和所述人体图像中的各人体区域分别进行特征提取，基于特征提取所得的骨架特征和各区域图像特征之间的相关性，对所述骨架特征和各区域图像特征进行融合，并基于融合所得的特征进行行为识别；

所述行为识别模型是基于样本骨架数据，样本人体图像以及行为标签训练得到的；

所述基于特征提取所得的骨架特征和各区域图像特征之间的相关性，对所述骨架特征和各区域图像特征进行融合，包括：

基于所述骨架特征，以及所述各区域图像特征，确定各区域加权图像特征；

对所述骨架特征和所述各区域加权图像特征进行融合；

所述基于所述骨架特征，以及所述各区域图像特征，确定各区域加权图像特征，包括：

基于所述各区域图像特征，确定各区域注意力图像特征和各区域原始特征；

基于所述骨架特征，以及所述各区域注意力图像特征，确定各区域的权重；

基于所述各区域的权重，以及所述各区域原始特征，确定各区域加权图像特征。

2.根据权利要求1所述的行为识别方法，其特征在于，所述对所述人体图像中的各人体区域进行特征提取，包括：

对所述人体图像进行区域划分，确定所述人体图像中的各人体区域，以及所述各人体区域的顶点坐标；

基于所述各人体区域的顶点坐标，通过双线性插值对所述人体图像中的各人体区域进行特征提取。

3.根据权利要求1所述的行为识别方法，其特征在于，所述基于行为识别模型，对所述骨架数据和所述人体图像中的各人体区域分别进行特征提取，包括：

基于行为识别模型中的骨架特征提取网络，对所述骨架数据进行特征提取；

基于行为识别模型中的图像特征提取网络，对所述人体图像中的各人体区域进行特征提取。

4.根据权利要求1所述的行为识别方法，其特征在于，所述行为识别模型基于如下步骤确定：

基于所述样本骨架数据中的样本关节点数据，对样本图像进行人体框裁剪，得到所述样本人体图像；

基于所述样本骨架数据，所述样本人体图像以及所述行为标签，对初始行为识别模型进行训练，得到所述行为识别模型；

所述初始行为识别模型是基于分类器构建的。

5.根据权利要求3所述的行为识别方法，其特征在于，所述骨架特征提取网络是基于Shift-GCN构建的，所述图像特征提取网络是基于TSM构建的。

6.一种行为识别装置，其特征在于，包括：

确定单元，用于确定待识别人员的骨架数据和人体图像；

行为识别单元，用于基于行为识别模型，对所述骨架数据和所述人体图像中的各人体区域分别进行特征提取，基于特征提取所得的骨架特征和各区域图像特征之间的相关性，对所述骨架特征和各区域图像特征进行融合，并基于融合所得的特征进行行为识别；所述行为识别模型是基于样本骨架数据，样本人体图像以及行为标签训练得到的；

所述行为识别单元具体用于：

基于所述骨架特征，以及所述各区域图像特征，确定各区域加权图像特征；

对所述骨架特征和所述各区域加权图像特征进行融合；

所述行为识别单元具体用于：

基于所述各区域图像特征，确定各区域注意力图像特征和各区域原始特征；

基于所述骨架特征，以及所述各区域注意力图像特征，确定各区域的权重；

基于所述各区域的权重，以及所述各区域原始特征，确定各区域加权图像特征。

7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述的行为识别方法的步骤。

8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的行为识别方法的步骤。