[发明专利]一种基于人脸的视频标注方法和视频检索方法

摘要

本发明提供一种基于人脸的视频标注方法和视频检索方法，标注方法包括：提取待标注视频中的人脸画面及对应的人脸特征，将人脸特征及其属性信息合并后得到人脸元数据；对待标注视频文件中获得的所有人脸特征进行自动特征聚类，然后对特征类别进行特征筛选和特征召回，得到特征类别集合P2和未分类特征集合Q2；对于P2中的各个元素，进行所属特征类别推荐并人工确认，对于Q2中的各个元素，进行未分类人脸特征推荐并人工确认，对特征类别和未分类特征进行姓名标注，利用标注后的特征类别与未分类人脸特征信息组成该视频文件的视频标注文件。在视频标注过程中，将程序自动推荐与人工确认结合起来，既保证了结果的准确性，又提高了效率。

主权项

一种基于人脸的视频标注方法，其特征在于，包括以下步骤：S1，当需要对某一视频文件进行视频标注时，导入待标注视频文件；S2，对所述待标注视频文件进行镜头切分，得到视频镜头序列；S3，对所述视频镜头序列中的每个视频镜头提取若干个关键帧，然后对所述关键帧进行人脸检测，获得每个镜头中出现的各个人物的人脸图片；其中，所述关键帧指视频序列中具有代表性的视频帧；S4，对所述人脸图片进行预处理；S5，对预处理后的人脸图片进行人脸特征提取，得到与每张人脸图片唯一对应的人脸特征；S6，获得每一个人脸特征的属性信息，将人脸特征及其属性信息合并后即得到原始的人脸元数据；其中，所述人脸特征的属性信息包括：该人脸特征所属的视频文件的视频ID、该人脸特征在所述视频文件中所属镜头的镜头序号、该人脸特征在所属镜头中的视频帧序号、该人脸特征在所属视频文件中出现时间、该人脸特征对应的人脸图片的保存路径、该人脸特征为未分类状态、该人脸特征所属的特征类别ID为0；其中，该人脸特征所属的特征类别ID指：该人脸特征所属的特征类别在特征类别库中的标识，初始态时，该人脸特征所属的特征类别ID为0；该人脸特征是否已分类具体包括两种状态：人脸特征已分类状态和人脸特征未分类状态，初始态时，每一个人脸特征均为未分类状态；S7，将所述待标注视频文件中获得的所有原始的人脸元数据存入预建立的人脸特征库；S8，将所述待标注视频文件中获得的所有人脸特征进行自动特征聚类，设共有N个人脸特征，将相似度超过第一阈值的若干个人脸特征聚为一个特征类别，由此得到由多个特征类别组成的特征类别集合P0；将与其他任何一个人脸特征之间的相似度均低于第一阈值的人脸特征聚合在一起，形成未分类特征集合Q0；S9，对S8形成的特征类别集合P0中的每一个特征类别进行特征筛选，判断每一个特征类别中是否存在分类错误的人脸特征，若存在，则将该分类错误的人脸特征从其所在的特征类别删除，并将该分类错误的人脸特征添加到未分类特征集合Q0，由此得到筛选后的特征类别集合P1和未分类特征集合Q1；同时，在人脸特征库中更新特征类别集合P1中所有人脸特征的属性信息，将人脸特征从未分类状态更新为已分类状态；S10，在得到特征类别集合P1后，对于特征类别集合P1中的每一个特征类别P1‑i，进行特征类别召回操作，召回漏掉的人脸特征，即：判断人脸特征库中是否存在与特征类别P1‑i相似度超过第二阈值的至少一个未分类的人脸特征i，如果有，则将得到的各个人脸特征i添加到推荐特征集合FeatureSet中；然后，人工判断推荐特征集合FeatureSet中是否存在与特征类别P1‑i属于同一个人的人脸特征，如果有，则将该人脸特征i添加到特征类别P1‑i中，同时将人脸特征库中该人脸特征i的属性由未分类状态修改为已分类状态，由此得到召回后的特征类别集合P2和未分类特征集合Q2；S11，预建立有特征类别库，该特征类别库存储其他多个视频标注得到的特征类别集合P3，对于本次导入视频形成的特征类别集合P2，每当特征类别集合P2中的一个特征类别按S12中的方法进行标注后，即将标注后的特征类别移入特征类别集合P4；初始时，特征类别集合P4为空；对于特征类别集合P2，执行S12；对于未分类特征集合Q2，执行S13；S12，对于特征类别集合P2中的任何一个元素，记为特征类别j，均执行以下步骤：S12.1，判断特征类别集合P3和P4中是否存在与特征类别j相似度超过第三阈值的特征类别，如果存在，则执行S12.2；如果不存在，则执行S12.4；S12.2，将与特征类别j相似度超过第三阈值的特征类别称为推荐特征类别；然后将特征类别集合P3和P4中的所有推荐特征类别组成一个推荐类别集合S；然后执行S12.3；S12.3，人工判断推荐类别集合S中是否存在与特征类别j属于同一个人的推荐特征类别；如果存在，则人工选择某个相应的推荐特征类别C0，若C0属于P4，则将特征类别j并入C0；若C0属于P3，则向特征类别j中增加以下标记信息：与推荐特征类别C0属于同一个人；如果C0对应的姓名为“陌生人”，则执行S12.4；如果不存在，则不向特征类别j中增加标记信息，然后执行S12.4；S12.4，对特征类别j进行姓名标注，若知道特征类别j对应的人物姓名，则将特征类别j对应的人物姓名标注到特征类别j上，并将特征类别j标记为已标注；然后，将特征类别j存入特征类别集合P4；若不知道特征类别j对应的人物姓名，则将特征类别j的人物姓名标注为“陌生人”，并将特征类别j标记为已标注；然后，将特征类别j存入特征类别集合P4；S13，对于未分类特征集合Q2中的任何一个元素，记为未分类人脸特征k，均执行以下步骤：S13.1，判断人脸特征库中是否存在与未分类人脸特征k相似度超过第四阈值的未分类人脸特征，如果有，则将与未分类人脸特征k相似度超过第四阈值的未分类人脸特征称为推荐未分类人脸特征；然后，将人脸特征库中的所有推荐未分类人脸特征组成一个推荐未分类人脸特征集合f；S13.2，人工判断推荐未分类人脸特征集合f中是否存在与未分类人脸特征k属于同一个人的推荐未分类人脸特征，如果存在，将该推荐未分类人脸特征与未分类人脸特征k组成一个新特征类别，将该新特征类别加入到S8获得的特征类别集合P0中，转到S8重新执行S8‑S12；同时，将该推荐未分类人脸特征在人脸数据库中的状态更新为已分类状态，将该未分类人脸特征k在人脸数据库中的状态更新为已分类状态；如果不存在，则判断特征类别集合P3和P4中是否存在与未分类人脸特征k相似度超过第五阈值的特征类别，如果存在，则执行S13.3；如果不存在，则执行S13.4；S13.3，将特征类别集合P3或P4中与未分类人脸特征k相似度超过第五阈值的特征类别组成一个推荐类别集合T；然后人工判断推荐类别集合T中是否存在与未分类人脸特征k属于同一个人的推荐特征类别，如果不存在，则执行S13.4；如果存在，则人工从推荐类别集合T中选择某个相应的特征类别C1，若C1属于P4，则将未分类人脸特征k加入到C1，并将未分类人脸特征k标记为已分类；若C1属于P3，则向未分类人脸特征k中增加以下标记信息：与特征类别C1属于同一个人，并将未分类人脸特征k标记为已分类；如果C1对应的姓名为“陌生人”，则执行S13.5；S13.4，对未分类人脸特征k进行姓名标注，若知道人脸特征k对应的人物姓名，则对应的人物姓名标注到未分类人脸特征k上；若不知道人脸特征k对应的人物姓名，则将未分类人脸特征k的人物姓名标注为“陌生人”；S13.5，对特征类别C1进行姓名标注，若知道特征类别C1对应的人物姓名，则将特征类别C1对应的人物姓名标注到特征类别C1上，若不知道特征类别C1对应的人物姓名，则将特征类别C1的人物姓名标注为“陌生人”；S14，对于增加有标记信息的特征类别或人脸特征，依标记信息中记载的内容，将相应的特征类别或人脸特征合并到特征类别库中对应的特征类别中，并更新人脸特征库中的人脸特征属性，包括人物姓名、是否已分类、所属类别ID；对于未增加有标记信息的特征类别，直接将其存储到特征类别库中，并更新人脸特征库中相应的人脸特征属性，包括人物姓名、是否已分类、所属类别ID；由此形成新的特征类别库；另外，利用S12得到的多个已标注姓名的特征类别与S13得到的多个已标注姓名的未分类人脸特征信息组成该视频文件的视频标注文件。