[发明专利]一种跨媒体视频人物识别方法及系统

说明书

本发明涉及图像识别技术领域，具体公开了一种跨媒体视频人物识别方法及系统，其中方法包括如下步骤：S1、获取待识别的视频人物的正面图片；S2、从正面图片中裁剪出脸部生成人脸的图片；S3、将人脸的图片转化为特征向量；S4、从视频人物参演的影片中间隔抽取帧，检测帧出现的人脸并裁剪出来；S5、将裁剪出的人脸转为特征向量，并与步骤S3中视频人物的特征向量进行比较，判断是否满足相似度阈值，若满足，则在该帧对该视频人物标记，并执行S6步骤；S6、对标记的视频人物使用Deep Sort算法进行多角度跟踪；S7、判断对标记的视频人物跟踪是否结束，若结束，输出包含视频人物的片段。采用本发明的技术方案能够自动生成包含目标人物的视频。

技术领域

本发明涉及图像识别技术领域，特别涉及一种跨媒体视频人物识别方法及系统。

背景技术

自上世纪以来，人类积攒了海量高质量影视资源，涵盖了电影、综艺节目、电视剧等影视类型。随着影视技术和设备的发展，已有大量视频的时长接近甚至超过一小时。近年来，随着生活节奏的加快，用户更喜欢把时间花在更紧凑的短视频上，短视频分享平台也越来越受欢迎。互联网上大批创作者也开始使用短视频为电影、电视剧等时长较长的影视资源引流。

例如通过检索出视频人物在其参演影片中出现的片段，能够帮助视频制作人员剪辑视频，也能便于后续观众选择只观看某位视频人物出现的场景，能够提高观众的观影体验。

为了确定某位视频人物在影片中出现的片段，在以往的方案中，是由专门的运营人员进行人工标注，这种方法不仅花费精力多、耗时长，而且成本高，难以满足当前海量视频资源处理的需要。

为此，需要一种能够自动生成包含目标人物视频的跨媒体视频人物识别方法及系统。

发明内容

本发明提供了一种跨媒体视频人物识别方法及系统，能够自动生成包含目标人物的视频。

为了解决上述技术问题，本申请提供如下技术方案：

一种跨媒体视频人物识别方法，包括如下步骤：

S1、获取待识别的视频人物的正面图片；

S2、通过训练后的MTCNN网络从正面图片中裁剪出脸部生成包含视频人物人脸的图片；

S3、使用Facenet网络将包含视频人物人脸的图片转化为特征向量；

S4、从视频人物参演的影片中间隔抽取帧，通过MTCNN网络检测帧出现的人脸并裁剪出来；

S5、使用Facenet网络将裁剪出的人脸转为特征向量，并与步骤S3中视频人物的特征向量进行比较，判断是否满足相似度阈值，若满足，则在该帧对该视频人物标记，并执行S6步骤，若不满足，返回S4步骤；

S6、对标记的视频人物使用Deep Sort算法进行多角度跟踪；

S7、判断对标记的视频人物跟踪是否结束，若结束，输出包含视频人物的片段，再判断视频人物参演的影片帧是否抽取完毕，若未完毕，执行S4步骤，若已完毕，结束操作。

基础方案原理及有益效果如下：

本方案中，通过MTCNN网络从正面图片中裁剪出脸部，方便后续单独对脸部进行处理，也能够减小后续处理的数据量。使用Facenet网络将包含视频人物人脸的图片转化为特征向量，再与视频帧中人脸提取的特征向量进行对比，就能准确识别出视频帧中的人物是否为待识别的视频人物，如果是，则对视频人物进行跟踪，输出包含视频人物的片段，如果不是，就继续提取视频帧中的人脸进行后续对比。

综上，本方案能够以自动化的方式标记视频人物在参演影片中出现的片段并输出，可以解决人工标注费力、耗时和成本高的问题。

进一步，所述步骤S1中，还从预设的视频人物的人脸库中获取包含视频人物人脸的图片并转跳至S3步骤。