[发明专利]行为识别及模型训练的方法、设备、存储介质和程序产品

权利要求书

1.一种行为识别的方法，包括：

将待处理的图像输入行为识别模型的特征提取网络，提取所述图像的图像特征；

将所述图像特征和所述图像特征对应的位置信息编码，输入所述行为识别模型的基于多分支子注意力机制的分类网络，通过所述分类网络，识别所述图像所包含人体的行为信息。

2.根据权利要求1所述的方法，其中，所述将所述图像特征和所述图像特征对应的位置信息编码，输入所述行为识别模型的基于多分支子注意力机制的分类网络，通过所述分类网络，识别所述图像所包含的人体的行为信息，包括：

将所述图像特征和所述位置信息编码，输入所述分类网络，通过所述分类网络，输出指定数量的行为信息，以及每一所述行为信息对应的置信度；

将置信度大于置信度阈值的行为信息，作为所述图像所包含的人体的行为信息。

3.根据权利要求1或2所述的方法，其中，所述将待处理的图像输入行为识别模型的特征提取网络，提取图像的图像特征之后，还包括：

对所述图像特征进行降维处理，得到预设维度的图像特征。

4.根据权利要求3所述的方法，其中，所述将所述图像特征和所述图像特征对应的位置信息编码，输入所述行为识别模型的基于多分支子注意力机制的分类网络，通过所述分类网络，识别所述图像所包含人体的行为信息之前，还包括：

根据所述预设维度，对所述图像特征中的像素进行位置编码，得到所述图像特征对应的位置信息编码。

5.根据权利要求1-4中任一项所述的方法，其中，

所述行为信息用于描述所述人体与物体发生的交互行为，

所述行为信息包括所述人体的位置信息、所述物体的位置信息和类别、和所述交互行为的行为类别。

6.根据权利要求5所述的方法，其中，所述将待处理的图像输入行为识别模型的特征提取网络，提取所述图像的图像特征之前，还包括：

接收所述待处理的图像；

或者，

采集指定场所内的包含人物的图像，作为所述待处理的图像。

7.根据权利要求5所述的方法，其中，所述将所述图像特征和所述图像特征对应的位置信息编码，输入所述行为识别模型的基于多分支子注意力机制的分类网络，通过所述分类网络，识别所述图像所包含人体的行为信息之后，还包括：

根据所述图像所包含的人体的行为信息，若确定任一所述行为信息中的行为类别属于预设行为集合，则对行为类别属于预设行为集合的所述行为信息进行相应的处理。

8.根据权利要求7所述的方法，其中，所述对行为类别属于预设行为集合的所述行为信息进行相应的处理，包括：

根据行为类别属于预设行为集合的所述行为信息，生成行为报告，并按照预设规则存储或发送所述行为报告。

9.一种行为识别模型训练的方法，其中，所述行为识别模型包括特征提取网络和基于多分支自注意力机制的分类网络，所述方法包括：

将样本图像输入所述特征提取网络，提取所述样本图像的图像特征；

将所述图像特征和所述图像特征对应的位置信息编码，输入所述基于多分支子注意力机制的分类网络，通过所述分类网络，识别所述样本图像所包含的人体的行为信息，得到所述行为信息的预测数据；

根据所述行为信息的真实数据和所述预测数据，计算损失值，并根据所述损失值更新所述行为识别模型的参数。

10.根据权利要求9所述的方法，其中，所述将样本图像输入所述特征提取网络，提取所述样本图像的图像特征之后，还包括：

对所述图像特征进行降维处理，得到预设维度的图像特征。