[发明专利]一种视频人脸标记方法

说明书

本发明实施例提出的一种视频人脸标记方法，根据待标记视频和与待标记视频对应的文本中分别计算人脸图像和人名的出现频次，建立人脸关系网和人名关系网。然后将人脸关系网和人名关系网分别转化为无向图，通过对两个无向图进行匹配的方法在两个无向图的顶点之间建立对应关系，以实现对待标记视频中的人脸图像进行标记。本申请提供的人脸标记方法，通过将待标记视频和与待标记视频对应的文本进行图匹配，实现了待标记视频中的人脸标记，摆脱了对时间信息的要求。

技术领域

本发明实施例涉及人脸标记技术领域，具体涉及一种视频人脸标记方法。

背景技术

随着电影工业的蓬勃发展，大批的电影相继制作产生。对于海量电影视频数据的索引、组织和管理也变得越来越重要。在电影中，由于情节皆是围绕人物展开的，因此人物通常是观众关注的焦点，所以人物是电影中需要标注和索引的重要内容。

现有的人脸标记技术以往主要应用于新闻视频，因为在新闻视频中，可以在通过语音转录的文本中获取大量人名，而且该转录文本与视频在时间上是自动对齐的，可以根据时间的一致性实现人脸与人名的关联。这种方法可以称为“局部匹配”。然而在电影视频中，局部匹配却并不适用。这是因为电影人物的对话中并不经常出现人名，所以从语音转录文本中无法提取到足够的人名。在电影剧本中，虽然包含有人物的姓名，但是却没有时间信息，无法将剧本与视频在时间上进行对齐，即无法采用局部匹配来实现人脸与人名的匹配。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本发明实施例提供了一种视频人脸标记方法。

有鉴于此，第一方面，本发明实施例提供一种视频人脸标记方法，其特征在于，包括：

获取待标记视频中的人脸图像序列；

根据所述人脸图像序列建立人脸关系网；

获取与所述待标记视频对应的文本中的人名；

根据所述人名构建人名关系网；

分别将所述人脸关系网和所述人名关系网转化为人脸无向图和人名无向图；

对所述人脸无向图和人名无向图进行匹配，得到待标记视频中人脸图像的标记结果。

可选的，所述获取待标记视频中的人脸图像序列，包括：

采用多视角的人脸检测与跟踪器自动获取待标记视频中的人脸图像序列。

可选的，根据所述人脸图像序列建立人脸关系网，包括：

采用搬土距离算法计算人脸图像序列间的距离；

根据所述人脸图像序列间的距离采用凝聚层次聚类算法对所述人脸图像序列进行聚类，得到人脸簇；

统计每一个人脸簇在所述待标记视频的各个场景中出现的频次；

根据任意两个人脸簇在所述待标记视频的各个场景中分别出现的频次，计算所述任意两个人脸簇在所述待标记视频的各个场景中共同出现的频次；

根据所述任意两个人脸簇在所述待标记视频的各个场景中共同出现的频次构建人脸关系网。

可选的，获取与所述待标记视频对应的文本中的人名，包括：

采用命名实体识别算法识别出所述文本中的人名。

可选的，根据所述人名构建人名关系网，包括：

统计每一个人名在所述文本的各个场景中出现的频次；

根据任意两个人名在所述文本的各个场景中分别出现的频次，计算所述任意两个人名在所述文本的各个场景中共同出现的频次；