[发明专利]一种基于角色的电视剧视频分析方法

说明书

技术领域

本发明涉及视频分析领域，尤其是一种基于角色的电视剧视频分析方法。

背景技术

随着电视产业的蓬勃发展，每年全世界有数以百计的电视剧被制作和播出。海量的电视剧极大的丰富了人们的娱乐生活，但是同时也给数据的有效存储和获取带来了巨大的困难。在这一背景下，自动的视频分析和索引方法就显得尤为重要。它能够将底层的视觉信息与高层语义相关联，从而为人们提供一种自然的基于概念的内容存取方式。

目前针对电视剧的分析工作主要是通过剧本与视频的匹配来实现。借助电视剧剧本中对于故事情节和人物交互过程的详细描述，人们可以准确地确定视频中出现角色的身份、行为以及所处的场景环境。更进一步地，根据这些语义标注，人们可以对视频内容进行个性化的摘要和检索，以一种自然高效的方式实现对视频内容的处理和控制。

传统的剧本与视频的匹配是通过字幕中的时间戳信息来实现的。如图1所示，剧本由一系列的场景组成，每个场景单元记录了一组人物的对话信息。相应的，字幕由一系列的对话组成，每个对话包含了显示在视频中的时间区间，但是并不包含相应的说话者信息。根据剧本和字幕的构成特点，可以通过字符串匹配的方法首先将剧本与字幕相关联，然后利用字幕文件中的时间信息将相应的剧本内容匹配到视频片段中。

尽管上述的方法能够取得相对精细的匹配结果，但是它仍然存在着诸多问题。一方面，不同于电视剧剧本，字幕文件在许多非英语类国家的电视剧中并不是默认提供，这限制了基于时间戳的剧本视频匹配方法的适用范围。另一方面，剧本代表着编剧的构想而字幕对应着演员的对话，在实际的拍摄过程中这两者并非完全的对应。显然，剧本与字幕的不一致程度直接影响了基于时间戳方法最终的匹配精度。

电视剧的核心是故事，而故事的主体是角色。正是由于角色的出现和他们的交互才推动者故事情节的不断发展。相比于时间戳信息，故事角色对于剧本和视频而言都是一个自然的存在。在剧本中，角色的出场是通过对话来提示的(每个对话前都会冠以相应的说话人姓名)；在视频中，角色的出场直接反应为人脸的出现。因此，基于人物关系的剧本视频匹配研究具有广泛的应用前景。

发明内容

为了解决上述问题，考虑到人物关系对于传递故事情节所具有的重要作用，本发明提出了一种基于角色构成关系的电视剧视频分析方法。该方法的核心思想是通过对角色人名与人脸构成关系的研究，找到电视剧剧本与其视频在语义结构上的对应，从而最终得到视频人脸的识别以及语义场景的分割。

本发明所提出的一种基于角色的电视剧视频分析方法，其特征在于，该方法包括以下步骤：

步骤1，提取角色直方图来表征视频和剧本中的角色出现关系；

步骤2，根据提取出的角色直方图，构建生成式电视剧拍摄模型，在所述生成式电视剧拍摄模型中，将角色人名与人脸的对应关系表示为一个重要的模型参数，而剧本场景与视频镜头的对应关系当做一种隐含的状态序列；

步骤3，对所述生成式电视剧拍摄模型中的参数进行学习，得到最优的模型参数，进而得到视频人脸的身份；

步骤4，推理最优的隐含状态，进而得到最优的视频场景划分。

本发明能够在无需人工标注的情况下自动地识别识别视频人脸的身份，特别适用于大规模的视频内容分析；同时，由于引入剧本文件做指导，得到的场景划分具有语义可理解、可比较的优势。

附图说明

图1是现有技术中基于时间戳的剧本与视频匹配方法示意图。

图2是本发明所提出的基于角色的电视剧视频分析方法流程图。

图3是根据本发明实施例的人名直方图示例。

图4是根据本发明实施例的人脸直方图示例

图5是根据本发明实施例的角色识别结果。

图6是根据本发明实施例的电视剧场景分割实例。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图2是本发明所提出的基于角色的电视剧视频分析方法流程图。如图2所示，本发明所提出的基于角色的电视剧视频分析方法包括以下步骤：

步骤1，提取角色直方图来表征视频和剧本中的角色出现关系。