[发明专利]基于深度传感器的视频识别与跟踪系统及其方法

说明书

本发明公开了一种基于深度传感器的视频识别与跟踪系统及其方法，其特征包括：云台相机控制模块、跟踪模块、识别模块、录制模块；并应用于由n+1个深度传感器、两台云台相机、一台主机以及n台从机所组成的教室环境中；在主讲人区的周围放置一台深度传感器，在主讲人区和听众区之间的上方分别放置两台云台相机，其中，一台云台相机朝向主讲人区方向，另一台云台相机朝向听众区方向，在听众区的两侧分别均匀布置剩余n个深度传感器并分别与n台从机相对应。本发明能实现自动识别主讲人的运动并进行跟踪，同时，对听众区进行监视，自动识别与主讲人互动的听众并自动进行切换，从而实现全自动化的课堂和会议录制。

技术领域

本发明涉及视频录制领域，具体地说涉及一种基于深度传感器的视频识别与跟踪系统及其方法。

背景技术

目前国内外对课程及会议进行摄像的方法，大多数是直接请摄影师进行拍摄。或者是在教室安装固定的摄像头进行拍摄。委托摄影师在课堂及会议上录制不但耗费人力物力资源，而且会转移听众的注意力，影响效果。即当前的视频录制存在自动化程度不足的问题。

传统的单摄像头跟踪目标的方法如光流法，时间差分法，或高斯背景建模法针对人物进行跟踪具有抗噪声性能差，易混淆前景与背景，易跟踪错误的目标，难以应用于全帧视频流的实时处理等问题。且采用多目摄像头进行三维空间数据采集需要复杂的算法对数据进行合成计算，实时性不高。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于深度传感器的视频识别与跟踪系统及其方法，以期能实现自动识别主讲人的运动并进行跟踪，同时，对听众区进行监视，自动识别与主讲人互动的听众并自动进行切换，从而实现全自动化的课堂和会议录制。

本发明为解决技术问题采用如下技术方案：

本发明一种基于深度传感器的视频识别与跟踪系统的特点是应用于由n+1个深度传感器、两台云台相机、一台主机以及n台从机所组成的教室环境中；所述教室环境分为主讲人区和听众区；所述主讲人区是从讲台至黑板之间的范围；所述听众区为听众所有座位的范围；在所述主讲人区的周围放置一台深度传感器，记为1号传感器；在所述主讲人区和听众区之间的上方分别放置两台云台相机，其中，一台云台相机朝向主讲人区方向，记为主讲人区的云台相机，另一台云台相机朝向听众区方向，记为听众区的云台相机；在听众区的两侧分别均匀布置剩余n个深度传感器并分别与所述n台从机相对应；

所述视频识别与跟踪系统设置在所述主机上，并包括：云台相机控制模块、跟踪模块、识别模块、录制模块；

所述1号传感器获取主讲人区的深度数据并提取相应的人物数据后发送给所述主机；

所述主机上的识别模块对所提取的人物数据利用骨骼提取方法进行处理，得到骨骼数据，并提取所述骨骼数据的头部坐标点；

所述云台相机控制模块控制所述跟踪模块利用所述主讲人区的云台相机对所述头部坐标点进行全程跟踪，并通过所述录制模块进行录制；

在t时刻令n个深度传感器各自采集听众区的深度数据，并相应发送给各自的从机进行处理，得到t时刻的n个点云数据集，任意一台从机作为监控从机获取其他从机发送的t时刻的n-1个点云数据集并进行计算，得到听众区t时刻的平面矩阵D(t)；初始化μ＝1；

在第μ次的Δt时间间隔后，监控从机再次得到听众区的t+μ×Δt时刻的平面矩阵D(t+μ×Δt)；根据所述t时刻的平面矩阵D(t+(μ-1)×Δt)和t+μ×Δt时刻的平面矩阵D(t+μ×Δt)，判断所述监测区域中是否有目标站起，若有目标站起，则计算目标站立者的坐标并返回给主机；并将μ+1赋值给μ，用于获得下一时刻的平面矩阵并判断目标站立者是否坐下；若没有目标站起，则直接将μ+1赋值给μ，用于获得下一时刻的平面矩阵并判断目标站立者是否站起；