[发明专利]基于深度传感器的视频识别与跟踪系统及其方法

摘要

本发明公开了一种基于深度传感器的视频识别与跟踪系统及其方法，其特征包括：云台相机控制模块、跟踪模块、识别模块、录制模块；并应用于由n+1个深度传感器、两台云台相机、一台主机以及n台从机所组成的教室环境中；在主讲人区的周围放置一台深度传感器，在主讲人区和听众区之间的上方分别放置两台云台相机，其中，一台云台相机朝向主讲人区方向，另一台云台相机朝向听众区方向，在听众区的两侧分别均匀布置剩余n个深度传感器并分别与n台从机相对应。本发明能实现自动识别主讲人的运动并进行跟踪，同时，对听众区进行监视，自动识别与主讲人互动的听众并自动进行切换，从而实现全自动化的课堂和会议录制。

主权项

1.一种基于深度传感器的视频识别与跟踪系统，其特征是应用于由n+1个深度传感器、两台云台相机、一台主机以及n台从机所组成的教室环境中；所述教室环境分为主讲人区和听众区；所述主讲人区是从讲台至黑板之间的范围；所述听众区为听众所有座位的范围；在所述主讲人区的周围放置一台深度传感器，记为1号传感器；在所述主讲人区和听众区之间的上方分别放置两台云台相机，其中，一台云台相机朝向主讲人区方向，记为主讲人区的云台相机，另一台云台相机朝向听众区方向，记为听众区的云台相机；在听众区的两侧分别均匀布置剩余n个深度传感器并分别与所述n台从机相对应；所述视频识别与跟踪系统设置在所述主机上，并包括：云台相机控制模块、跟踪模块、识别模块、录制模块；所述1号传感器获取主讲人区的深度数据并提取相应的人物数据后发送给所述主机；所述主机上的识别模块对所提取的人物数据利用骨骼提取方法进行处理，得到骨骼数据，并提取所述骨骼数据的头部坐标点；所述云台相机控制模块控制所述跟踪模块利用所述主讲人区的云台相机对所述头部坐标点进行全程跟踪，并通过所述录制模块进行录制；在t时刻令n个深度传感器各自采集听众区的深度数据，并相应发送给各自的从机进行处理，得到t时刻的n个点云数据集，任意一台从机作为监控从机获取其他从机发送的t时刻的n‑1个点云数据集并进行计算，得到听众区t时刻的平面矩阵D(t)；初始化μ＝1；在第μ次的Δt时间间隔后，监控从机再次得到听众区的t+μ×Δt时刻的平面矩阵D(t+μ×Δt)；根据t+(μ‑1)×Δt时刻的平面矩阵D(t+(μ‑1)×Δt)和t+μ×Δt时刻的平面矩阵D(t+μ×Δt)，判断监测区域中是否有目标站起，若有目标站起，则计算目标站立者的坐标并返回给主机；并将μ+1赋值给μ，用于获得下一时刻的平面矩阵并判断目标站立者是否坐下；若没有目标站起，则直接将μ+1赋值给μ，用于获得下一时刻的平面矩阵并判断目标站立者是否站起；若所述主机接收到所述目标站立者的坐标后，通过所述云台相机控制模块控制所述跟踪模块利用所述听众区的云台相机对所述目标站立者进行全程跟踪，并通过所述录制模块进行录制；同时，切断所述主讲人区的云台相机的录制，从而使得所述录制模块所录制的内容能互相衔接；若所述监控从机发现目标站立者坐下，则发送切换信号给主机；所述主机根据所述切换信号，切断所述听众区的云台相机，并恢复所述主讲人区的云台相机对主讲人区的录制，从而使得所述录制模块所录制的内容能再次互相衔接。