[发明专利]人体预设行为的识别方法、装置、设备终端和存储介质

说明书

本申请涉及人体预设行为的识别方法、装置、设备终端和存储介质，该识别方法通过对第一行人图像集中的每张行人图像的第一预设目标区域进行标记，得到标记后的第一数据集，基于第一数据集，对行人的第一预设目标区域进行检测训练，以生成人体的第一预设目标区域的检测模型，在标记后的第一数据集中，针对每张行人图像的第一预设目标区域对应的图像以及标记信息进行提取，得到第二行人图像集，在第二行人图像集中，针对每张行人图像的第二预设目标区域进行标记，得到第二数据集，基于第二数据集，采用结构重参数化模型对人体预设行为进行分类检测训练以生成对应的分类模型，进而构建人体预设行为的识别模型，降低了识别成本。

技术领域

本申请涉及图像处理领域，具体涉及一种人体预设行为的识别方法、装置、设备终端和存储介质。

背景技术

在禁烟场所违规吸烟行为或者打电话行为极有可能造成严重的安全隐患，例如，在加油站或者其他严禁烟火的禁烟场所违规吸烟或者打电话。

目前，基于传感器的烟雾检测方法通常需要在特定场合安装烟雾传感器，实施成本较高。

发明内容

鉴于此，本申请提供一种人体预设行为的识别方法，降低了识别过程的经济成本。

一种人体预设行为的识别方法，该识别方法包括：

获取包含预设行为的第一行人图像集；

对第一行人图像集中的每张行人图像的第一预设目标区域进行标记，得到标记后的第一数据集，标记包括对应行人的人体预设行为信息；

基于第一数据集，对行人的第一预设目标区域进行检测训练，以生成人体的第一预设目标区域的检测模型；

在标记后的第一数据集中，针对每张行人图像的第一预设目标区域对应的图像以及标记信息进行提取，得到第二行人图像集；

在第二行人图像集中，针对每张行人图像的第二预设目标区域进行标记，得到第二数据集，第二预设目标区域在第一预设目标区域内；

基于第二数据集，采用结构重参数化模型对人体预设行为进行分类检测训练，以生成人体预设行为的分类模型；

根据检测模型以及分类模型构建人体预设行为的识别模型。

在一个实施例中，结构重参数化模型包括骨干网络、分类分支网络和检测分支网络，第二预设目标区域包含人体的嘴部区域以及人体的手部区域，基于第二数据集，采用结构重参数化模型对人体预设行为进行分类检测训练，以生成人体预设行为的分类模型的步骤包括：

基于骨干网络，对每张行人图像中的第二预设目标区域进行信息提取，以得到行人的嘴部区域和手部区域的语义信息；

将语义信息分别送入分类分支网络和检测分支网络，通过分类分支网络输出对应的初步分类结果，通过检测分支网络输出对应的检测结果；

根据初步分类结果进行第一预设损失函数计算，得到对应的第一预设损失函数值；

根据检测结果进行第二预设损失函数计算，得到对应的第二预设损失函数值；

对第一预设损失函数值和对应的第二预设损失函数值进行加权，以得到加权后的总损失值；

根据加权后的总损失值，获得优化梯度，进行权重和偏置更新，直至加权后的损失函数收敛以生成人体预设行为的分类模型。在一个实施例中，根据检测模型以及分类模型构建人体预设行为的识别模型的步骤包括：

将分类模型中的检测分支网络去除，得到目标分类模型；

根据检测模型和目标分类模型构建人体预设行为的识别模型。

在一个实施例中，上述识别方法还包括：