[发明专利]一种基于故事情节发展模型分析的电影动作场景检测方法

说明书

技术领域

本发明涉及视频分析与检测领域，特别涉及一种基于故事情节发展模型分析的电影动作场景检测方法。

背景技术

随着当今数字媒体和网络的飞速发展，人们可以足不出户地在家享受各种多媒体信息。如今世界上电影工业已经成为视频制作的一股活跃力量，每年大概有4500部新电影出现。因此，如何对这些海量信息进行有效的分析、管理、查询和检索，成为目前亟待解决的问题。

在电影中，由于动作场景通常具有强烈的戏剧冲突和激烈的视觉效果，因此是电影编辑的重点，也是观众最感兴趣的场景。要对电影中的动作场景进行检测需要借助电影内容分析的方法。目前的电影内容分析方法主要分两种：

1、通过分析电影编辑规则提取视频/音频等低层特征来检测特定语义事件；

2、通过分析人类注意力变化因素来提取视频/音频等低层特征检测特定语义事件。

早期的基于内容的视频分析的主要工作是视频结构化和相似片段检索，而视频数据主要为新闻，体育等结构比较规则的视频。但是由于视觉和听觉低层特征与人类高级语义之间的“语义鸿沟”，这种视频分析和检索方式并不能满足人类需求。随着对视频语义分析研究的深入以及在新闻、体育等具有规则结构的视频中的应用，研究人员将更多的注意力放在电影语义事件检索上。但是电影视频是一种高度的艺术表达方式，具有复杂的故事情节和潜在的编辑模式，现有方法对特定语义描述的不全面性造成了语义事件检测准确率较低，导致未能全面反映电影故事情节发展的本身。

总而言之，目前主要存在两个关键的因素制约电影中语义事件检测的准确性和鲁棒性：

1、对电影编辑技术和人类注意力模型的深入理解，挖掘视频/音频等低层特征来表征这些因素；

2、综合客观的电影编辑方式和主观的观众感知两方面因素，建立合理的模型来表征故事情节的发展。

发明内容

本发明的目的是克服现有的电影内容分析方法单纯从电影编辑手法或人类感知角度关注电影语义事件，对语义事件检测准确率低的缺陷，从而提供一种融合电影编辑手法和人类感知两个角度，可实现对电影动作场景检测的电影内容分析方法，具有较高准确性和鲁棒性，有利于电影编辑人员对电影的编辑和观众对电影中感兴趣场景的选择。

为了实现上述目的，本发明提供了一种基于故事情节发展模型分析的电影动作场景检测方法，按照以下步骤顺序执行：

步骤10)、从原始视频提取视频帧，对视频帧做预处理操作，通过预处理操作得到镜头、镜头中的关键帧、场景、视频图像的宏块运动矢量；

步骤20)、计算各个镜头内所包含视频帧的个数，从而获得镜头长度；

步骤30)、利用步骤10)得到的宏块运动矢量，计算镜头的平均运动强度；

步骤40)、利用步骤20)所得到的镜头长度和步骤30)所得到的镜头平均运动强度计算电影编辑因子；

步骤50)、从原始视频提取音频帧，计算每个音频帧的短时音频能量，并通过计算镜头内短时音频能量的均值计算镜头的平均音频能量；

步骤60)、计算镜头的平均运动分散度；

步骤70)、利用步骤50)得到的镜头平均音频能量和步骤60)得到的镜头平均运动分散度，计算人类感知因子；

步骤80)、根据步骤40)得到的电影编辑因子和步骤70)得到的人类感知因子，建立故事情节发展模型，并按照时间顺序生成故事情节发展流图；

步骤90)、根据步骤80)得到的故事情节发展流图检测电影中的动作场景。

上述技术方案中，在所述的步骤30)中，计算镜头的平均运动强度具体包括以下步骤：

步骤31)、计算镜头内所有P帧中宏块的运动矢量的能量；

步骤32)、建立一个模板，为图像中的前景宏块和背景宏块赋予不同的权值；

步骤33)、根据步骤32)中为宏块所赋予的权值，计算镜头中每个P帧的运动强度；

步骤34)、将镜头中所有P帧的运动强度之和除以镜头中的P帧个数，得到镜头的平均运动强度。

在所述的步骤31)中，求P帧中宏块运动矢量能量的计算公式为：