[发明专利]基于深度传感器的视频识别与跟踪系统及其方法

权利要求书

1.一种基于深度传感器的视频识别与跟踪系统，其特征是应用于由n+1个深度传感器、两台云台相机、一台主机以及n台从机所组成的教室环境中；所述教室环境分为主讲人区和听众区；所述主讲人区是从讲台至黑板之间的范围；所述听众区为听众所有座位的范围；在所述主讲人区的周围放置一台深度传感器，记为1号传感器；在所述主讲人区和听众区之间的上方分别放置两台云台相机，其中，一台云台相机朝向主讲人区方向，记为主讲人区的云台相机，另一台云台相机朝向听众区方向，记为听众区的云台相机；在听众区的两侧分别均匀布置剩余n个深度传感器并分别与所述n台从机相对应；

所述视频识别与跟踪系统设置在所述主机上，并包括：云台相机控制模块、跟踪模块、识别模块、录制模块；

所述1号传感器获取主讲人区的深度数据并提取相应的人物数据后发送给所述主机；

所述主机上的识别模块对所提取的人物数据利用骨骼提取方法进行处理，得到骨骼数据，并提取所述骨骼数据的头部坐标点；

所述云台相机控制模块控制所述跟踪模块利用所述主讲人区的云台相机对所述头部坐标点进行全程跟踪，并通过所述录制模块进行录制；

在t时刻令n个深度传感器各自采集听众区的深度数据，并相应发送给各自的从机进行处理，得到t时刻的n个点云数据集，任意一台从机作为监控从机获取其他从机发送的t时刻的n-1个点云数据集并进行计算，得到听众区t时刻的平面矩阵D(t)；初始化μ＝1；

在第μ次的Δt时间间隔后，监控从机再次得到听众区的t+μ×Δt时刻的平面矩阵D(t+μ×Δt)；根据t+(μ-1)×Δt时刻的平面矩阵D(t+(μ-1)×Δt)和t+μ×Δt时刻的平面矩阵D(t+μ×Δt)，判断监测区域中是否有目标站起，若有目标站起，则计算目标站立者的坐标并返回给主机；并将μ+1赋值给μ，用于获得下一时刻的平面矩阵并判断目标站立者是否坐下；若没有目标站起，则直接将μ+1赋值给μ，用于获得下一时刻的平面矩阵并判断目标站立者是否站起；

若所述主机接收到所述目标站立者的坐标后，通过所述云台相机控制模块控制所述跟踪模块利用所述听众区的云台相机对所述目标站立者进行全程跟踪，并通过所述录制模块进行录制；同时，切断所述主讲人区的云台相机的录制，从而使得所述录制模块所录制的内容能互相衔接；

若所述监控从机发现目标站立者坐下，则发送切换信号给主机；

所述主机根据所述切换信号，切断所述听众区的云台相机，并恢复所述主讲人区的云台相机对主讲人区的录制，从而使得所述录制模块所录制的内容能再次互相衔接。

2.一种基于深度传感器的视频识别与跟踪方法，其特征是应用于由n+1个深度传感器、两台云台相机、一台主机以及n台从机所组成的教室环境中；所述教室环境分为主讲人区和听众区；所述主讲人区是从讲台至黑板之间的范围；所述听众区为听众所有座位的范围；在所述主讲人区的周围放置一台深度传感器，记为1号传感器；在所述主讲人区和听众区之间的上方分别放置两台云台相机，其中，一台云台相机朝向主讲人区方向，记为主讲人区的云台相机，另一台云台相机朝向听众区方向，记为听众区的云台相机；在听众区的两侧分别均匀布置剩余n个深度传感器并分别与所述n台从机相对应；所述视频识别与跟踪方法是按如下步骤进行：

步骤1、所述1号传感器获取主讲人区的深度数据并提取相应的人物数据后发送给所述主机；

步骤2、所述主机对所提取的人物数据利用骨骼提取方法进行处理，得到骨骼数据后，再提取所述骨骼数据的头部坐标点；

步骤3、所述主机利用所述主讲人区的云台相机对所述头部坐标点进行全程跟踪和录制；

步骤4、将所述教室环境抽象为一个矩形空间，以所述矩形空间的任意一个顶点作为原点O，与所原点O相连的三条边分别作为X轴，Y轴和Z轴，所述Z轴垂直于地面，从而建立世界坐标系O-XYZ；在所述教室环境的听众区的空间中划分一个监控区域；

步骤5、在t时刻令n个深度传感器在各自坐标系下采集听众区的深度数据并相应发送给各自的从机进行处理，得到t时刻的n个点云数据集，记为{K₁(t),K₂(t),…,K_i(t),…,K_n(t)}；K_i(t)表示t时刻第i个深度传感器所获得的点云数据；并有K_i(t)＝{k_i1(t),k_i2(t),…,k_ij(t),…,k_im(t)}，k_ij(t)表示t时刻第i个点云数据的第j个数据点；

步骤6、将在t时刻第i个点云数据的第j个数据点k_ij(t)转换到世界坐标系下，得到t时刻世界坐标系下的第i个点云数据的第j个数据点w_ij(t)，从而得到t时刻世界坐标系下的第i个点云数据W_i(t)＝{w_i1(t),w_i2(t),…,w_ij(t),…,w_im(t)}；

步骤7、在t时刻所述世界坐标系下的第i个点云数据W_i(t)中删除处于所述监控区域外的点云数据，并保留在所述监控区域内的点云数据，从而得到t时刻在所述监控区域内的第i个点云数据W_i′(t)；

步骤8、任意一台从机作为监控从机获取其他从机发送的t时刻n-1个监控区域内的点云数据集并进行合并，得到t时刻总的点云数据集P(t)＝{W₁′(t),W′₂(t),…,W′_i(t)，…,W′_n(t)}；

步骤9、将所述t时刻总的点云数据集P(t)中的所有数据点投影到世界坐标系中的XOY平面上，得到t时刻二维点集P_2d(t)；

步骤10、将监控区域向世界坐标系中的XOY平面进行投影，得到的平面记为P_w；将所述平面P_w中与世界坐标系的原点O距离最近的点的坐标记为(x₀,y₀,0)；

步骤11、将所述平面P_w划分为R×S个网格，每个网格的长度记为len，宽度记为wid，并统计每个网格中的t时刻二维点的数量，将t时刻第a行第b列网格中的二维点数量记为d_ab(t)并作为分布矩阵中第a行第b列的元素值，从而得到分布矩阵D(t)；

步骤12、定义时间间隔为Δt，定义变量为μ和η，并初始化μ＝1；η＝1；

步骤13、在第μ次的Δt时间间隔后，按照步骤5-步骤11获得第μ次的Δt时间间隔后的分布矩阵D(t+μ×Δt)；

计算差值矩阵ΔD(t+μ×Δt)＝|D(t+μ×Δt)-D(t+(μ-1)×Δt)|；将所述差值矩阵ΔD(t+μ×Δt)中的第a行第b列的元素记为Δd_ab(t+μ×Δt)；

步骤14、建立一个与分布矩阵D(t+μ×Δt)大小相同的矩阵Temp(η)，将所述矩阵Temp(η)中的第a行第b列的元素记为temp_ab(η)，并利用式(1)获得第a行第b列的元素temp_ab(η)，从而得到矩阵Temp(η)：

式(1)中，Const表示阈值；

步骤15、对所述矩阵Temp(η)进行膨胀运算，得到膨胀处理后的矩阵Temp′(η)，所述矩阵Temp′(η)中第a行第b列的元素记为temp′_ab(η)；

步骤16、建立一个与分布矩阵D(t+μ×Δt)大小相同的矩阵Γ(t+μ×Δt)，将所述矩阵Γ(t+μ×Δt)中的第a行第b列的元素记为τ_ab(t+μ×Δt)，并利用式(2)获得第a行第b列的元素τ_ab(t+μ×Δt)，从而得到矩阵Γ(t+μ×Δt)：

步骤17、利用式(3)获得矩阵Γ(t+μ×Δt)中所有元素进行求和，得到求和结果sum(t+μ×Δt)：

步骤18、判断sum(t+μ×Δt)＞Th是否成立，若成立，则表示在所述监控区域内有人站起，并执行步骤19；否则，表示在所述监控区域内无人站起；并将μ+1赋值给μ后，返回步骤13；Th为阈值；

步骤19、利用式(4)和式(5)获得在所述监控区域内在第μ次的Δt时间间隔的站立者位置的初步坐标

步骤20、利用式(6)和式(7)获得在所述监控区域内第μ次的Δt时间间隔的站立者位置的实际坐标并作为目标站立者的坐标发送给所述主机：

步骤21、所述主机接收到所述目标站立者的坐标后，利用所述听众区的云台相机对所述目标站立者的坐标进行全程跟踪和录制；同时，切断所述主讲人区的云台相机的录制，从而使得所述录制的内容能互相衔接；

步骤22、将μ+1赋值给μ后，按照步骤5-步骤11获得第μ次的Δt时间间隔后的分布矩阵D(t+μ×Δt)；

步骤23、建立一个与分布矩阵D(t+μ×Δt)大小相同的矩阵Γ(t+μ×Δt)，将所述矩阵Γ(t+μ×Δt)中的第a行第b列的元素记为τ_ab(t+μ×Δt)，并利用式(8)获得第a行第b列的元素τ_ab(t+μ×Δt)，从而得到矩阵Γ(t+μ×Δt)：

步骤24、利用式(9)对矩阵Γ(t+μ×Δt)中所有元素进行求和，得到求和结果sum(t+μ×Δt)：

步骤25、若sum(t+μ×Δt)＜Th'成立，则表示目标站立者已坐下，并发送切换信号给所述主机；其中Th'为所测阈值；否则，返回步骤22；

步骤26、所述主机根据所述切换信号，切断所述听众区的云台相机，并恢复所述主讲人区的云台相机对主讲人区的录制，从而使得所录制的内容再次能互相衔接；

步骤27、将μ+1赋值给μ，将η+1赋值给η后，返回步骤13。