[发明专利]人体预设行为的识别方法、装置、设备终端和存储介质

权利要求书

1.一种人体预设行为的识别方法，其特征在于，包括：

获取包含所述人体预设行为的第一行人图像集；

对所述第一行人图像集中的每张行人图像的第一预设目标区域进行标记，得到标记后的第一数据集，所述标记包括对应行人的人体预设行为信息；

基于所述第一数据集，对行人的第一预设目标区域进行检测训练，以生成人体的第一预设目标区域的检测模型；

在所述标记后的第一数据集中，针对每张行人图像的第一预设目标区域对应的图像以及标记信息进行提取，得到第二行人图像集；

在所述第二行人图像集中，针对每张行人图像的第二预设目标区域进行标记，得到第二数据集，所述第二预设目标区域在所述第一预设目标区域内；

基于所述第二数据集，采用结构重参数化模型对所述人体预设行为进行分类检测训练，以生成所述人体预设行为的分类模型；

根据所述检测模型以及所述分类模型构建所述人体预设行为的识别模型；

所述结构重参数化模型包括骨干网络、分类分支网络和检测分支网络，所述第二预设目标区域包含人体的嘴部区域以及人体的手部区域，所述基于所述第二数据集，采用结构重参数化模型对所述人体预设行为进行分类检测训练，以生成所述人体预设行为的分类模型的步骤包括：

基于所述骨干网络，对每张行人图像中的第二预设目标区域进行信息提取，以得到行人的嘴部区域和手部区域的语义信息；

将所述语义信息分别送入所述分类分支网络和所述检测分支网络，通过所述分类分支网络输出对应的初步分类结果，通过所述检测分支网络输出对应的检测结果；

根据所述初步分类结果进行第一预设损失函数计算，得到对应的第一预设损失函数值；

根据所述检测结果进行第二预设损失函数计算，得到对应的第二预设损失函数值；

对所述第一预设损失函数值和所述对应的第二预设损失函数值进行加权，以得到加权后的总损失值；

根据所述加权后的总损失值，获得优化梯度，进行权重和偏置更新，直至加权后的损失函数收敛以生成所述人体预设行为的分类模型；

所述根据所述检测模型以及所述分类模型构建所述人体预设行为的识别模型的步骤包括：

将所述分类模型中的检测分支网络去除，得到目标分类模型；

根据所述检测模型和所述目标分类模型构建所述人体预设行为的识别模型。

2.根据权利要求1所述的识别方法，其特征在于，还包括：

通过所述识别模型对输入的行人图像进行所述人体预设行为的分类识别，以得到对应的识别结果。

3.根据权利要求1所述的识别方法，其特征在于，所述第一预设损失函数为：

P_t表示正样本的概率值，L_cls(P_t)表示P_t对应的第一预设损失函数值，表示正负样本损失的调节因子，表示损失权重调节因子。

4.根据权利要求1所述的识别方法，其特征在于，所述第二预设损失函数为：

为所述第二预设损失函数，为边界框回归损失，x_n表示每个样本的输出值，y_n表示每个样本的真实标签值，n表示样本总量，表示广义交并比，为所述广义交并比的损失函数，A为预测框，B为真实框，C为包含A与B的最小框。

5.根据权利要求1所述的识别方法，其特征在于，所述对所述第一预设损失函数值和所述对应的第二预设损失函数值进行加权，以得到加权后的总损失值的步骤中对应的加权公式为：

L_cls表示所述第一预设损失函数值，为所述对应的第二预设损失函数值，Loss表示所述加权后的总损失值，a为量纲权重值。