[发明专利]基于深度学习的人群表演现场排练系统

权利要求书

1.一种基于深度学习的人群表演现场排练系统，用于根据预演仿真系统生成的预演仿真数据进行现场排练，其特征在于，包括：训练手册生成模块、设备执行数据监控模块、演员表演数据采集模块、误差检测模块、现场指挥模块，其中：

训练手册生成模块根据预演仿真数据生成针对每个演员的训练手册；

设备执行数据监控模块使用预演仿真数据控制表演设备，并监测设备运行中的各项参数；

演员表演数据采集模块使用视频采集设备采集表演的视频；

误差检测模块从采集的表演视频中提取出演员的实际运动轨迹，将演员实际运动轨迹与预演仿真数据中的标准运动轨迹进行比对并输出误差检测数据；

现场指挥模块用于将预演仿真数据、演员现场排练数据、误差检测数据呈现给指挥人员，允许指挥人员修改对设备和表演方案的设置，并将指挥人员对设备和表演方案的修改反馈给预演仿真系统；

其中，误差检测模块从采集的表演视频中提取出演员实际运动轨迹的方法为：

对表演视频进行镜头分割，使得分割后的视频片段不包含镜头运动；

对视频片段中每一帧图像进行特征提取与匹配，提取出共同具有的两个静态物体，获取两个静态物体在图像中的二维位置坐标；

对视频片段中每一帧图像使用基于深度学习的目标检测方法检测演员，得到演员在图像中的二维位置坐标；

根据演员与两个静态物体的相对位置，计算得到演员的实际运动轨迹。

2.根据权利要求1所述的一种人群表演现场排练系统，其特征在于，所述基于深度学习的目标检测方法包括以下步骤：

搭建YOLOv3目标检测模型，使用以往排练视频数据进行演员标定作为训练集，对YOLOv3目标检测模型进行训练，使模型能够识别出人；

使用训练好的模型对视频片段的每一帧图像进行目标检测，得到识别出的每一个人的标记边界框；

取标记边界框左下角或右下角角点坐标为表演人员二维位置坐标。

3.根据权利要求2所述的一种人群表演现场排练系统，其特征在于，所述镜头分割采用基于直方图的方法，根据镜头转换时视频帧的颜色值和/或灰度值和/或亮度值的变化进行镜头分割。

4.根据权利要求3所述的一种人群表演现场排练系统，其特征在于，所述镜头分割包括以下步骤：

将排练视频连续帧序列中像素的灰度值和/或亮度值和/或颜色值等分为N个等级，统计每一帧中每个等级中的像素数形成直方图，其中N由用户设置；

从排练视频第1帧开始，依次计算第i帧与第i+1帧的帧间差值d：

其中P为一帧的像素数，H_i(k)为第i帧中在第k个灰度、颜色或亮度级中的像素数，i为1,2，……，n-1；

定义小于排练视频每秒帧数的滑动区域，从排练视频第1帧开始计算滑动区域内的最大帧间差值及帧间差值均值d_m，将滑动区域依次向后移动，找出所有最大帧间差值比帧间差值均值d_m大3倍以上的滑动区域，计算这些滑动区域最大帧间差值的平均值，作为排练视频的判断阈值T；

比较每两帧的帧间差值d与阈值T，若dT，则检测到镜头边界，进行镜头分割。

5.根据权利要求4所述的一种人群表演现场排练系统，其特征在于，所述静态物体获取单元进行特征提取与匹配所使用的特征为角点特征。

6.根据权利要求5所述的一种人群表演现场排练系统，其特征在于，所述对视频片段中每一帧图像进行特征提取与匹配，提取出共同具有的两个静态物体的方法为：

对关键帧序列中每一帧图像进行Harris角点检测，提取得到每一帧图像中静态物体角点二维位置坐标；

以某帧中每个静态物体角点位置坐标为中心，取其周围8个点的像素灰度值，计算与后一帧每个角点周围的8个像素灰度差值，选择后一帧中与该帧中该角点周围像素平均灰度差值最小的角点作为匹配角点；

获得相邻两帧间每个角点的匹配角点后，比较所有匹配角点对的周围像素平均灰度差值，选取周围像素平均灰度差值最小的两个匹配角点对作为该相邻两帧的最佳匹配角点对；

获得所有相邻两帧的最佳匹配角点对后，选择出现次数最多的两个角点对作为最终选取的静态物体。