[发明专利]基于视频图像识别的人物网络关系发现及演化呈现方法

摘要

本发明公开了一种基于视频图像识别的人物网络关系发现及演化呈现方法，属于图像识别与社交网络分析交叉领域，包括步骤：视频数据预处理；基于视频帧的图像提取；人脸识别及识别模型更新；人物关系网络构建及动态可视化。本发明将视频图像的人物识别与社交网络相结合，实现了跨领域的技术融合应用；采用视频帧的处理技术，提取具有时间戳的视频图像数据集合；采用SVM分类预测模型进行人脸识别，并以视频图像数据集合为输入，进行人脸识别；采用相邻图像之间的人脸信息进行具有时间标签的网络构建；并利用视频信息中的时间序列和具有时间戳的网络关系，进行时间对齐操作，从而实现视频与人物关系网络的同步动态呈现。

主权项

1.基于视频图像识别的人物网络关系发现及演化呈现方法，其特征在于：包括如下步骤：步骤1：视频数据预处理；具体包括如下步骤：步骤1.1：视频输入；步骤1.2：对输入的视频进行按帧截取；步骤1.3：人脸检测，判断是否检测到人脸；若：判断结果是没有检测到人脸，则不保存图像；或判断结果是检测到人脸，则保存图像；步骤1.4：将保存的图像做成数据集，对数据集进行分割，添加标签；步骤1.5：特征向量提取，提取出数据集分割的训练集和测试集；步骤1.6：使用训练集对模型进行训练，使用测试集对模型进行测试；步骤1.7：模型判断，判断模型是否满足精度的要求；若：判断结果是模型满足精度的要求，则保存模型；或判断结果是模型不满足精度的要求，则执行步骤1.5‑步骤1.7，直至模型满足精度的要求；步骤2：人脸识别及更新；具体包括如下步骤：步骤2.1：判断模型是否存在；若：判断结果是模型不存在，则返回数据预处理重新进行训练；或判断结果是模型存在，则将图片输入；步骤2.2：特征向量提取，进行人脸识别；步骤2.3：根据人脸识别情况进行SVM分类，得到分类预测结果；步骤2.4：判断分类预测结果的大小；若：判断结果是分类预测结果小于判断未知人脸的阈值，则将人脸判断为未知的，并将此未知人脸保存下来，然后执行步骤2.5；或判断结果是分类预测结果大于人脸的阈值，则将该分类预测结果作为输入，然后执行步骤2.6；步骤2.5：对保存下来的未知人脸图片进行人工统计，当相同类图像数据达到标注的阈值，进行手动标注，构建新的人脸类，然后执行步骤2.6；当人工统计相同类图像数据没有达到标注的阈值，则停止模型的更新，保存现有模型；步骤2.6：进行模型自适应更新，然后执行步骤2.3，；步骤3：人物关系网络构建及动态可视化；具体包括如下步骤：步骤3.1：对人脸识别结果进行预处理；步骤3.2：基于识别人脸进行网络构建；对图像采用多帧合成的方式，将多张连续的图片识别出来的结果融合叠加成一张网络，将识别出来的人名作为网络图的节点，人名出现的次数作为权重，输入网络图；并基于帧的时间，标注构建网络的时间戳；步骤3.3：视频播放与构建的人物关系网络同步动态可视化；根据标注的时间戳与视频中的时间轴进行映射，而后根据视频播放的时间轴，进行视频播放与人物关系网络同步动态可视化呈现。