[发明专利]一种跨媒体视频人物识别方法及系统

权利要求书

1.一种跨媒体视频人物识别方法，其特征在于，包括如下步骤：

S1、获取待识别的视频人物的正面图片；

S2、通过训练后的MTCNN网络从正面图片中裁剪出脸部生成包含视频人物人脸的图片；

S3、使用Facenet网络将包含视频人物人脸的图片转化为特征向量；

S4、从视频人物参演的影片中间隔抽取帧，通过MTCNN网络检测帧出现的人脸并裁剪出来；

S5、使用Facenet网络将裁剪出的人脸转为特征向量，并与步骤S3中视频人物的特征向量进行比较，判断是否满足相似度阈值，若满足，则在该帧对该视频人物标记，并执行S6步骤，若不满足，返回S4步骤；

S6、对标记的视频人物使用Deep Sort算法进行多角度跟踪；

S7、判断对标记的视频人物跟踪是否结束，若结束，输出包含视频人物的片段，再判断视频人物参演的影片帧是否抽取完毕，若未完毕，执行S4步骤，若已完毕，结束操作。

2.根据权利要求1所述的跨媒体视频人物识别方法，其特征在于：所述步骤S1中，还从预设的视频人物的人脸库中获取包含视频人物人脸的图片并转跳至S3步骤。

3.根据权利要求2所述的跨媒体视频人物识别方法，其特征在于：所述步骤S6中，多角度跟踪包括对人物头部旋转、遮挡的帧进行跟踪识别。

4.根据权利要求3所述的跨媒体视频人物识别方法，其特征在于：所述步骤S6中，对人物头部旋转、遮挡的帧进行跟踪识别时，通过卡尔曼滤波基于视频人物头部前一时刻位置，预测当前时刻位置；再通过匈牙利算法，将预测的位置与当前帧匹配，若匹配成功，则当前帧和前一帧的视频人物相同，若匹配失败，则当前帧和前一帧的视频人物不相同。

5.根据权利要求1所述的跨媒体视频人物识别方法，其特征在于：所述步骤S4中，间隔为24帧。

6.一种跨媒体视频人物识别系统，其特征在于，包括：

输入模块，用于接收待识别的视频人物的正面图片；

人脸裁剪模块，预存有训练后的MTCNN网络，用于将视频人物的正面图片输入MTCNN网络，通过MTCNN网络从正面图片中裁剪出脸部生成包含视频人物人脸的图片；

特征转化模块，预存有Facenet网络，用于使用Facenet网络将包含视频人物人脸的图片转化为特征向量；

抽取模块，用于从视频人物参演的影片中间隔抽取帧；

人脸裁剪模块还用于将抽取的帧输入MTCNN网络，通过MTCNN网络检测帧出现的人脸并裁剪出来；特征转化模块还用于使用Facenet网络将裁剪出的人脸转为特征向量；

分析模块，用于将裁剪出的人脸的特征向量与视频人物的特征向量进行比较，判断是否满足相似度阈值，若满足，则在该帧对该视频人物标记；

跟踪模块，还用于在满足相似度阈值时，对标记的视频人物使用Deep Sort算法进行多角度跟踪；

输出模块，用于判断对标记的视频人物跟踪是否结束，若结束，输出包含视频人物的片段。

7.根据权利要求6所述的跨媒体视频人物识别系统，其特征在于：所述输入模块还用于从预设的视频人物的人脸库中获取包含视频人物人脸的图片。

8.根据权利要求7所述的跨媒体视频人物识别系统，其特征在于：所述多角度跟踪包括对人物头部旋转、遮挡的帧进行跟踪识别。

9.根据权利要求8所述的跨媒体视频人物识别系统，其特征在于：所述跟踪模块对人物头部旋转、遮挡的帧进行跟踪识别时，用于通过卡尔曼滤波基于视频人物头部前一时刻位置，预测当前时刻位置；再通过匈牙利算法，将预测的位置与当前帧匹配，若匹配成功，则当前帧和前一帧的视频人物相同，若匹配失败，则当前帧和前一帧的视频人物不相同。

10.根据权利要求6所述的跨媒体视频人物识别系统，其特征在于：所述间隔为24帧。