[发明专利]一种对电影人脸图像进行自动标识的方法

说明书

技术领域

本发明属于多媒体内容分析领域，涉及一种在电影视频中对自动的人脸图像进行自动标识的方法。

背景技术

随着电影工业的蓬勃发展，大批的电影相继制作产生。对于海量电影视频数据的索引、组织和管理也变得越来越重要。在电影中，由于情节皆是围绕人物展开的，因此人物通常是观众关注的焦点，是电影中需要标注和索引的重要内容。人脸标识技术以往主要是面向新闻视频，因为在新闻视频中，可以在通过语音转录的文本中获取大量人名，而且该转录文本与视频在时间上是自动对齐的，可以根据时间的一致性实现人脸与人名的关联。这种方法可以称为“局部匹配”。然而在电影视频中，局部匹配却并不适用。这是因为电影人物的对话中并不经常出现人名，所以从语音转录文本中无法提取到足够的人名。在电影剧本中，虽然包含有人物的姓名，但是却没有时间信息，无法将剧本与视频在时间上进行对齐，即无法采用局部匹配来实现人脸与人名的匹配。因此目前尚缺乏利用电影剧本对电影视频中的人脸进行自动标识的方法。

发明内容

本发明的目的是在电影剧本中提取人物的姓名，对电影中的人脸进行识别和标注，由于剧本中不包含时间信息，无法将其与视频在时间上进行对齐，本发明利用图匹配的方法，在给定电影视频和剧本的条件下，提出一种对电影人脸图像进行自动标识的方法。

为达成所述目的，本发明提出一种对电影人脸图像进行自动标识的方法，本发明的技术方案通过以下步骤来实现：

步骤1：利用多视角的人脸检测和跟踪器，在一电影视频中自动获取人脸序列，对人脸序列进行聚类以对应不同的人物；

步骤S2：根据不同人物的人脸序列在相同场景中共同出现的频次，来度量人脸之间关系，建立人脸关系网络；

步骤S3：利用计算机从电影剧本数据库下载并存储与所述一电影视频相对应的纯文本电影剧本，计算机统计纯文本电影剧本中不同人物的姓名在相同场景中共同出现的频次；

步骤S4：依据所述频次来度量人名之间的关系，建立人名关系网络；

步骤S5：计算机将人脸关系网络和人名关系网络分别表示成人脸无向图和人名无向图的形式，将人脸无向图和人名无向图进行匹配，实现人脸关系网络和人名关系网络中顶点之间的匹配，即实现将人脸和人名融合的标识。

本发明的优点在于：本发明的方法与传统的局部匹配方法相比，本发明方法摆脱了对时间信息的要求，而是在全局范围内，在视频和文本两个模态中分别计算人脸和人名的统计信息，建立人脸关系网和人名关系网络。然后通过图匹配的方法在两个网络的顶点之间建立对应关系，以实现对人脸的自动标识。本发明给定电影视频以及其对应的剧本，即可实现自动的人脸标识，为视频中出现的人脸自动标注上其对应人物的姓名，可以为电影视频检索、视频摘要自动生成等应用提供支持。

附图说明

图1是本发明对电影人脸图像进行自动标识整体构架示意图；

图2是本发明对电影人脸图像进行自动标识的方法流程图。

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。

如图1示出本发明对电影人脸图像进行自动标识整体构架示意图，实现本发明的自动标识整体构架的所需的基本的硬件条件为：一台主频为2.4GHz，内存为1G的计算机；所需软件条件为：编程环境(Visual C++6.0)。利用计算机实现多视角的人脸检测和跟踪器2、人脸网络建立单元3、纯文本电影剧本存储单元5、人名网络建立单元6和匹配单元7的功能。