[发明专利]一种人体跟踪方法和系统

说明书

本申请实施例公开了一种人体跟踪方法和系统，所述方法包括：基于视频帧图像选择目标跟踪模式，以根据预设目标启动模式确定跟踪人体目标；基于各自对应的模型得到目标跟踪模式、骨骼特征信息、人脸特征信息、目标行为信息、人体颜色特征信息、目标运动信息和目标跟踪方式，并输入人体跟踪模型，输出跟踪目标人体的位置信息和行为信息。从而基于人体骨骼、人脸特征、人体行为和颜色特征信息等不同维度信息进行人体的跟踪，高效辅助人体跟踪拍摄。

技术领域

本申请实施例涉及计算机视觉技术领域，具体涉及一种人体跟踪方法和系统。

背景技术

随着人工智能技术和互联网技术的发展，随着“人工智能赋能教师”、“人工智能赋能教学”要求的提出，“智慧教室”改变了传统的教学模式和学习环境，对录播系统中的跟踪技术也提出了更大挑战。

以前的录播环境是基于传统的教学环境，采用多个辅助摄像头采集定位视频图像来进行教师定位分析和板书定位分析。并且图像分析定位只能简单依赖目标的运动特征，对于更加灵活自由的教学环境，跟踪定位的精度和鲁棒性有很大挑战。

发明内容

为此，本申请实施例提供一种人体跟踪方法和系统，基于人体骨骼、人脸特征、人体行为和颜色特征信息等不同维度信息进行跟踪，高效辅助跟踪拍摄。

为了实现上述目的，本申请实施例提供如下技术方案：

根据本申请实施例的第一方面，提供了一种人体跟踪方法，所述方法包括：

获取视频帧图像；

利用人体骨骼检测算法检测视频帧图像中是否有可识别的人体骨骼数据；

若有，基于视频帧图像选择目标跟踪模式，以根据预设目标启动模式确定跟踪人体目标；

基于人体骨骼数据进行骨骼关键点检测，得到骨骼特征信息；并基于骨骼特征信息检测到人脸面对镜头时，进行人脸检测及人脸特征提取，得到人脸特征信息；并利用目标行为识别模型进行人体姿态信息分析，得到目标行为信息；并利用人体颜色特征模型进行人体上半身区域随机点以及灰度值采样，得到人体颜色特征信息；并根据骨骼特征信息中的骨骼位置信息和姿态信息进行运动信息检测，得到目标运动信息；并根据可识别的人体骨骼数据及其与跟踪目标的距离关系进行跟踪人数模式选择，得到目标跟踪方式；

将目标跟踪模式、骨骼特征信息、人脸特征信息、目标行为信息、人体颜色特征信息、目标运动信息和目标跟踪方式输入人体跟踪模型，输出跟踪目标人体的位置信息和行为信息。

可选地，所述基于人体骨骼数据进行骨骼关键点检测，得到骨骼特征信息，包括：

基于人体骨骼数据中的头、颈、肩、臂、腰部位的骨骼数据以及头颈方向数据、肩宽数据、上半身高数据、头肩肘手之间的位置关系数据，在人体骨骼选取设定关键点区域的数据进行采集；

基于采集到的人体骨骼关键点数据进行骨骼特征处理，得到骨骼特征信息；所述骨骼特征信息包括人体运动方向信息、人体位置信息、人体尺寸信息和人体姿态信息。

可选地，所述方法还包括：

若检测到人体姿态信息为举手，则添加或者切换跟踪人体目标。

可选地，基于骨骼特征信息检测到人脸面对镜头时，进行人脸检测及人脸特征提取，得到人脸特征信息，包括：

根据骨骼特征信息确定人脸检测区域，利用人脸检测模型进行人脸检测，检测人脸正面对着镜头时，利用人脸特征提取模型进行人脸特征提取，得到人脸特征信息。

可选地，利用目标行为识别模型进行人体姿态信息分析，得到目标行为信息，包括：

获取人体骨骼数据中的头、肩、颈、肘、手、腰关键节点及长度、角度的样本数据；