[发明专利]基于深度学习的人群表演现场指挥系统

权利要求书

1.一种基于深度学习的人群表演现场指挥系统，用于根据预演仿真系统生成的预演仿真数据进行现场指挥，其特征在于，包括：创意方案展示模块、预演仿真数据展示模块、排练视频采集设备、误差检测模块、指挥交互模块，其中：

创意方案展示模块将导演创意方案输出到指挥交互模块；

预演仿真数据展示模块将预演仿真数据输出到指挥交互模块和误差检测模块；

排练视频采集设备采集现场排练视频数据，并传输到指挥交互模块和误差检测模块；

误差检测模块从采集的排练视频中提取出演员的实际运动轨迹，将演员实际运动轨迹与预演仿真数据中的标准运动轨迹进行比对并将误差检测数据输出到指挥交互模块；

指挥交互模块用于将导演创意方案、预演仿真数据、演员现场排练数据、误差检测数据通过显示设备呈现给指挥人员，并通过输入设备接受指挥人员对表演方案的修改，并且根据指挥人员的设置修改预演仿真数据；

其中，误差检测模块块从采集的表演视频中提取出演员实际运动轨迹的方法为：

对表演视频进行镜头分割，使得分割后的视频片段不包含镜头运动；

对视频片段中每一帧图像进行特征提取与匹配，提取出共同具有的两个静态物体，获取两个静态物体在图像中的二维位置坐标；

对视频片段中每一帧图像使用基于深度学习的目标检测方法检测演员，得到演员在图像中的二维位置坐标；

根据演员与两个静态物体的相对位置，计算得到演员的实际运动轨迹。

2.根据权利要求1所述的一种人群表演现场指挥系统，其特征在于，所述基于深度学习的目标检测方法包括以下步骤：

搭建YOLOv3目标检测模型，使用以往排练视频数据进行演员标定作为训练集，对YOLOv3目标检测模型进行训练，使模型能够识别出人；

使用训练好的模型对视频片段的每一帧图像进行目标检测，得到识别出的每一个人的标记边界框；

取标记边界框左下角或右下角角点坐标为表演人员二维位置坐标。

3.根据权利要求2所述的一种人群表演现场指挥系统，其特征在于，所述镜头分割采用基于直方图的方法，根据镜头转换时视频帧的颜色值和/或灰度值和/或亮度值的变化进行镜头分割。

4.根据权利要求3所述的一种人群表演现场指挥系统，其特征在于，所述镜头分割包括以下步骤：

将排练视频连续帧序列中像素的灰度值和/或亮度值和/或颜色值等分为N个等级，统计每一帧中每个等级中的像素数形成直方图，其中N由用户设置；

从排练视频第1帧开始，依次计算第i帧与第i+1帧的帧间差值d：

其中P为一帧的像素数，H_i(k)为第i帧中在第k个灰度、颜色或亮度级中的像素数，i为1,2，……，n-1；

定义小于排练视频每秒帧数的滑动区域，从排练视频第1帧开始计算滑动区域内的最大帧间差值及帧间差值均值d_m，将滑动区域依次向后移动，找出所有最大帧间差值比帧间差值均值d_m大3倍以上的滑动区域，计算这些滑动区域最大帧间差值的平均值，作为排练视频的判断阈值T；

比较每两帧的帧间差值d与阈值T，若dT，则检测到镜头边界，进行镜头分割。

5.根据权利要求4所述的一种人群表演现场指挥系统，其特征在于，所述静态物体获取单元进行特征提取与匹配所使用的特征为角点特征。