[发明专利]一种针对多人场景的实时动作识别方法及系统

说明书

本发明公开了一种针对多人场景的实时动作识别方法及系统，其中，所述方法包括：对接收到的待识别视频信息进行目标检测处理，获得人体目标检测框；将人体目标检测框中的各个人的图像进行裁剪并归一化尺寸，合并为一批待处理的人体图像；对所述批待处理的人体图像批量提取人体骨架的关节点信息；进行人体目标检测框过滤处理；将过滤后的人体目标检测框输入卷积神经网络，输出人体图像特征；对应的人体骨架和人体图像特征在SORT算法分配对应的追踪ID；进行动作识别，获得各动作的置信度，并选取动作的置信度最高且大于预设阈值的动作类型及对应的目标图像反馈用户端。在本发明实施例中，可有效、精确识别视频中的多个人物的动作并实时反馈。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种针对多人场景的实时动作识别方法及系统。

背景技术

随着人工智能发展，人体动作识别技术取得巨大进步，已逐步广泛应用于安防、医疗保健、人机互动等领域，具有广阔的市场前景。然而，在实际落地中仍在实时视频动作连续识别、多视角及遮挡姿态时的动作识别、多人动作识别等方面充满挑战。

目前，动作识别的研究主要集中在预录制视频的动作分类，该类视频数据大多动作单一、背景单一、视角单一、人数少(一般1-2人)。当视频中存在多个人，每人动作不尽相同时，由该类数据训练的模型将无法直接预测每个人的动作。动作数据的采集、标注成本高。

当今的动作分类算法大多需要对整段视频或序列作处理后才能预测。处理原始的高维RGB帧数据需要强大的算力保障，即便是单路，对于安防、急救等对实时性要求高的应用，部署成本较高，难以定义合适的滑动窗口(即包含当前帧与过去若干帧的序列)大小来平衡识别准确率和响应时间。基于固定滑动窗口的方法用于识别持续时间差异较大的动作，特别是当某些动作短于窗口、而某些动作可持续多个窗口的时候，性能不佳。

同类技术中有部分采用深度相机如Kinect获取三维坐标的人体姿态序列作为动作识别的模态。相比RGB数据，人体姿态具有维度低、运算开销小的优势，且能过滤背景的无用信息。然而，这类途径有两大问题：一是深度相机成本高、普及性差；二是若不采用深度相机，仅利用RGB像素信息来估计多人的姿态，在人较多、较密的场景下精度不佳，如OpenPose算法。此外，单目获取三维人体姿态的精度尚不及二维的精度。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种针对多人场景的实时动作识别方法及系统，可有效、精确识别视频中的多个人物的动作并实时反馈。

为了解决上述技术问题，本发明实施例提供了一种针对多人场景的实时动作识别方法，所述方法包括：

基于TensorRT的目标检测器对接收到的待识别视频信息进行目标检测处理，获得人体目标检测框；

将人体目标检测框中的各个人的图像进行裁剪并归一化尺寸，合并为一批待处理的人体图像；

基于TensorRT的AlphaPose算法对所述一批待处理的人体图像进行人体骨架的关节点提取处理，获得人体骨架的关节点信息，所述关节点信息包括二维坐标和置信度；

基于所述人体骨架的关节点信息进行人体目标检测框过滤处理，获得过滤后的人体目标检测框；

将过滤后的人体目标检测框输入具有IBN和Non-local模块的卷积神经网络，输出人体图像特征；

基于所述过滤后的人体目标检测框、过滤后的人体目标检测框对应的人体骨架和人体图像特征在SORT算法分配对应的追踪ID；

将每一个追踪ID所记录的人体骨架输入动作识别网络，输出所述人体骨架中的各动作的置信度，并为各个追踪ID选取动作的置信度最高且大于预设阈值的动作类型及对应的目标图像反馈用户端。

可选的，所述基于TensorRT的目标检测器对接收到的待识别视频信息进行目标检测处理，获得人体目标检测框，包括：