[发明专利]基于深度学习的人群表演误差检测方法

权利要求书

1.一种基于深度学习的人群表演误差检测方法，其特征在于，包括预演仿真步骤、表演数据采集步骤、演员轨迹数据处理步骤、误差检测步骤：

预演仿真步骤对表演创意方案进行预演仿真，并输出各表演元素在表演过程中的仿真数据；

表演数据采集步骤使用视频采集设备采集表演的视频；

演员轨迹数据处理步骤从采集的表演视频中提取出演员的实际运动轨迹；

误差检测步骤将计算得到的演员实际运动轨迹与预演仿真数据中的标准运动轨迹进行误差检测并输出误差检测结果；

其中，演员轨迹数据处理步骤从采集的表演视频中提取出演员实际运动轨迹的方法为：

对表演视频进行镜头分割，使得分割后的视频片段不包含镜头运动；

对视频片段中每一帧图像进行特征提取与匹配，提取出共同具有的两个静态物体，获取两个静态物体在图像中的二维位置坐标；

对视频片段中每一帧图像使用基于深度学习的目标检测方法检测演员，得到演员在图像中的二维位置坐标；

根据演员与两个静态物体的相对位置，计算得到演员的实际运动轨迹。

2.根据权利要求1所述的一种人群表演误差检测方法，其特征在于，所述基于深度学习的目标检测方法包括以下步骤：

搭建YOLOv3目标检测模型，使用以往排练视频数据进行演员标定作为训练集，对YOLOv3目标检测模型进行训练，使模型能够识别出人；

使用训练好的模型对视频片段的每一帧图像进行目标检测，得到识别出的每一个人的标记边界框；

取标记边界框左下角或右下角角点坐标为表演人员二维位置坐标。

3.根据权利要求1或2所述的一种人群表演误差检测方法，其特征在于，镜头分割采用基于直方图的方法，根据镜头转换时视频帧的颜色值和/或灰度值和/或亮度值的变化进行镜头分割。

4.根据权利要求3所述的一种人群表演误差检测方法，其特征在于，所述镜头分割包括以下步骤：

将排练视频连续帧序列中像素的灰度值和/或亮度值和/或颜色值等分为N个等级，统计每一帧中每个等级中的像素数形成直方图，其中N由用户设置；

从排练视频第1帧开始，依次计算第i帧与第i+1帧的帧间差值d：

其中P为一帧的像素数，H_i(k)为第i帧中在第k个灰度、颜色或亮度级中的像素数，i为1，2，……，n-1；

定义小于排练视频每秒帧数的滑动区域，从排练视频第1帧开始计算滑动区域内的最大帧间差值及帧间差值均值d_m，将滑动区域依次向后移动，找出所有最大帧间差值比帧间差值均值d_m大3倍以上的滑动区域，计算这些滑动区域最大帧间差值的平均值，作为排练视频的判断阈值T；

比较每两帧的帧间差值d与阈值T，若d＞T，则检测到镜头边界，进行镜头分割。

5.根据权利要求1或2所述的一种人群表演误差检测方法，其特征在于，所述静态物体获取单元进行特征提取与匹配所使用的特征为角点特征。

6.根据权利要求5所述的一种人群表演误差检测方法，其特征在于，所述对视频片段中每一帧图像进行特征提取与匹配，提取出共同具有的两个静态物体的方法为：

对关键帧序列中每一帧图像进行Harris角点检测，提取得到每一帧图像中静态物体角点二维位置坐标；

以某帧中每个静态物体角点位置坐标为中心，取其周围8个点的像素灰度值，计算与后一帧每个角点周围的8个像素灰度差值，选择后一帧中与该帧中该角点周围像素平均灰度差值最小的角点作为匹配角点；

获得相邻两帧间每个角点的匹配角点后，比较所有匹配角点对的周围像素平均灰度差值，选取周围像素平均灰度差值最小的两个匹配角点对作为该相邻两帧的最佳匹配角点对；

获得所有相邻两帧的最佳匹配角点对后，选择出现次数最多的两个角点对作为最终选取的静态物体。