[发明专利]一种针对多人场景的实时动作识别方法及系统

权利要求书

1.一种针对多人场景的实时动作识别方法，其特征在于，所述方法包括：

基于TensorRT的目标检测器对接收到的待识别视频信息进行目标检测处理，获得人体目标检测框；

将人体目标检测框中的各个人的图像进行裁剪并归一化尺寸，合并为一批待处理的人体图像；

基于TensorRT的AlphaPose算法对所述一批待处理的人体图像进行人体骨架的关节点提取处理，获得人体骨架的关节点信息，所述关节点信息包括二维坐标和置信度；

基于所述人体骨架的关节点信息进行人体目标检测框过滤处理，获得过滤后的人体目标检测框；

将过滤后的人体目标检测框输入具有IBN和Non-local模块的卷积神经网络，输出人体图像特征；

基于所述过滤后的人体目标检测框、过滤后的人体目标检测框对应的人体骨架和人体图像特征在SORT算法分配对应的追踪ID；

将每一个追踪ID所记录的人体骨架输入动作识别网络，输出所述人体骨架中的各动作的置信度，并为各个追踪ID选取动作的置信度最高且大于预设阈值的动作类型及对应的目标图像反馈用户端；

所述将每一个追踪ID所记录的人体骨架输入动作识别网络，输出所述人体骨架中的各动作的置信度，包括：

在将每一个追踪ID所记录的人体骨架输入动作识别网络之后，在所述动作识别网络内对输入的每一个追踪ID所记录的人体骨架作自适应仿射变换，再由两个或以上的卷积模块提取高维度空间特征，连结经变换的人体骨架的坐标数据后，送入循环神经网络模块提取高维时间特征，输出所述人体骨架中的各动作的置信度；

所述在所述动作识别网络内对输入的每一个追踪ID所记录的人体骨架作自适应仿射变换，包括：

在所述动作识别网络内对输入的每一个追踪ID所记录的人体骨架作自适应仿射变换时，l表示序列长度；N_p表示关节点类型的数量；

参数由循环神经网络模块叠加一个全连接层产生；变换方程如下：

其中：X′_tjd表示变换后的骨架序列；X_tjd表示变换前的骨架序列；Θ_t为第t帧的变换参数向量，Θ_t＝[Θ_t0 Θ_t1 Θ_t2 Θ_t3 Θ_t4 Θ_t5]。

2.根据权利要求1所述的实时动作识别方法，其特征在于，所述基于TensorRT的目标检测器对接收到的待识别视频信息进行目标检测处理，获得人体目标检测框，包括：

接收视频信息，所述视频信息包括用户上传的视频信息及监控设备采集到的视频信息；

对所述视频信息中的各视频帧基于OpenCV解码并将像素值归一化至[0，1]区间，同时填充视频帧的较短边使得视频帧的宽高一致，获得待识别视频信息；

基于TensorRT的目标检测器对所述待识别视频信息进行目标检测处理，获得人体目标检测框；

所述目标检测器为基于TensorRT构建的网络架构，支持半精度推理与动态batchsize；所述网络结构为YOLOv5s。

3.根据权利要求1所述的实时动作识别方法，其特征在于，所述将人体目标检测框中的各个人的图像进行裁剪，并将裁剪结果进行尺寸归一化后合并为一批待处理的人体图像，包括：

基于所述人体目标检测框裁剪出各个人的图像区域；

对裁剪出各个人的图像区域进行填充处理，在填充完成后进行尺寸归一化处理，并合并为一批待处理的人体图像；

所述尺寸归一化处理为将填充完成后的图像区域的宽高比归一化在1:2至3:4之间。