[发明专利]一种视频人脸标记方法在审
申请号: | 201811141277.0 | 申请日: | 2018-09-28 |
公开(公告)号: | CN109472197A | 公开(公告)日: | 2019-03-15 |
发明(设计)人: | 张一帆 | 申请(专利权)人: | 中国科学院自动化研究所;中国科学院自动化研究所南京人工智能芯片创新研究院 |
主分类号: | G06K9/00 | 分类号: | G06K9/00 |
代理公司: | 北京华夏泰和知识产权代理有限公司 11662 | 代理人: | 孟德栋 |
地址: | 100089 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 标记视频 无向图 人脸标记 人脸图像 视频人脸 人脸 匹配 文本 时间信息 申请 转化 | ||
1.一种视频人脸标记方法,其特征在于,包括:
获取待标记视频中的人脸图像序列;
根据所述人脸图像序列建立人脸关系网;
获取与所述待标记视频对应的文本中的人名;
根据所述人名构建人名关系网;
分别将所述人脸关系网和所述人名关系网转化为人脸无向图和人名无向图;
对所述人脸无向图和人名无向图进行匹配,得到待标记视频中人脸图像的标记结果。
2.根据权利要求1所述的视频人脸标记方法,其特征在于,所述获取待标记视频中的人脸图像序列,包括:
采用多视角的人脸检测与跟踪器自动获取待标记视频中的人脸图像序列。
3.根据权利要求1所述的视频人脸标记方法,其特征在于,根据所述人脸图像序列建立人脸关系网,包括:
采用搬土距离算法计算人脸图像序列间的距离;
根据所述人脸图像序列间的距离采用凝聚层次聚类算法对所述人脸图像序列进行聚类,得到人脸簇;
统计每一个人脸簇在所述待标记视频的各个场景中出现的频次;
根据任意两个人脸簇在所述待标记视频的各个场景中分别出现的频次,计算所述任意两个人脸簇在所述待标记视频的各个场景中共同出现的频次;
根据所述任意两个人脸簇在所述待标记视频的各个场景中共同出现的频次构建人脸关系网。
4.根据权利要求1所述的视频人脸标记方法,其特征在于,获取与所述待标记视频对应的文本中的人名,包括:
采用命名实体识别算法识别出所述文本中的人名。
5.根据权利要求1所述的视频人脸标记方法,其特征在于,根据所述人名构建人名关系网,包括:
统计每一个人名在所述文本的各个场景中出现的频次;
根据任意两个人名在所述文本的各个场景中分别出现的频次,计算所述任意两个人名在所述文本的各个场景中共同出现的频次;
根据所述任意两个人名在所述文本的各个场景中共同出现的频次构建人名关系网。
6.根据权利要求3所述的视频人脸标记方法,其特征在于,分别将所述人脸关系网和所述人名关系网转化为人脸无向图和人名无向图,包括:
根据所述人脸关系网,建立以人脸簇为顶点,以人脸簇中的人脸图像在整个待标记视频中出现的总频次为顶点权重,以人脸簇间的关系为边,以人脸簇间的关系密切程度为边权重的人脸无向图;
根据所述人名关系网,建立以人名为顶点,以人名在文本中出现的总频次为顶点权重,以人名间的关系为边,以人名间的关系密切程度为边权重的人名无向图。
7.根据权利要求6所述的视频人脸标记方法,其特征在于,对所述人脸无向图和人名无向图进行匹配,得到待标记视频中人脸图像的标记结果,包括:
将所述人脸无向图中任一顶点与所述人名无向图中任一顶点进行匹配,所述匹配为候选匹配;
计算所述候选匹配的匹配度;
计算任意两个候选匹配间的相容度;
根据所述匹配度和相容度从所有候选匹配中选出满足预设目标函数和预设条件的目标匹配集;
根据所述目标匹配集标记所述待标记视频中的人脸图像。
8.根据权利要求7所述的视频人脸标记方法,其特征在于,按下式计算所述候选匹配的匹配度:
式中,M(a)表示候选匹配a的匹配度,a=(fi,ni′)其中,fi表示人脸无向图的第i个顶点,ni′表示人名无向图的第i个顶点;表示人脸无向图的顶点fi的权重,对应fi在整个待标记视频中出现的频次;表示人名无向图的顶点ni′的权重,对应ni′在整个与所述待标记视频对应的文本中出现的频次;σ为调节对噪声容忍程度的敏感系数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院自动化研究所;中国科学院自动化研究所南京人工智能芯片创新研究院,未经中国科学院自动化研究所;中国科学院自动化研究所南京人工智能芯片创新研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811141277.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种基于视频图像的室内人员检测方法
- 下一篇:一种姿态鲁棒的视频笑脸识别方法