[发明专利]基于人脸识别的人脸摘要方法、视频摘要方法及其装置

说明书

技术领域

本发明涉及一种自动化信息提供技术，尤其涉及一种借助于通信技术进行信息查询、匹配和反馈的方法，以及实现该方法的装置，实现脐带血干细胞供需及时地自助配型，以有利于病患及时获得医治。

背景技术

视频采集终端作为平安城市和智慧城市等建设中的最重要的一个方面得到了广泛的部署。然而海量的视频数据在存储、查看和检索等方面产生了各种问题，在诸如视频侦查过程中，需要在有限的时间内查看大量的视频并找到目标，这是一项很困难的任务。一方面大量的视频数据需要大量的人工来查看，另一方面，人工查看可能会遗漏潜在的目标。海量的视频数据只有在被有效的利用的情况下才能产生更大价值，随着计算机、数据分析与挖掘技术的发展，通过计算机来辅助甚至代替人去对海量视频进行分析处理，提取结构化的信息数据，必然是将来的发展趋势。

近年来，出现了很多对视频数据进行结构化处理的方法和系统，典型的代表是视频摘要技术(如：CN10439448和CN103092930)与人脸识别技术(如：CN104050449、CN103279740和CN104239862等)。视频摘要技术可将冗长的视频浓缩生成简短的视频摘要供用户快速查看，并可以根据指定的特征检索潜在的目标，可有效的提高用户查看和检索视频的效率。人脸识别技术是在给定的人脸数据库上将图像中的人脸进行识别。

然而，视频摘要与检索技术往往只适合应用于目标稀疏的视频场景，主要包括两方面原因，一是由于计算机视觉技术本身的限制，对于目标密集叠加的场景，很难在有限的计算资源情况下做到精确的目标分割和特征提取，另一方面，对于目标密集的场景，视频摘要的结果视频与原视频比较，对查看效率没有明显的提升。因此，对于目标密集场景的情况，视频摘要与检索技术往往难以实际应用。人脸识别技术虽然目前已经取得了很大的进步，在一些定义的标准数据集上虽然通过深度学习的方法已经达到甚至超过了人的识别能力，可以实际应用于一些证件照片等的识别和验证，然而在实际的监控视频中，由于角度、光照和距离等各种难以控制的因素的影响，精确的人脸识别还远远未达到人们的期望。

视频中“人”的信息往往是查看视频所寻找的主体目标，其他类别的目标包含较少的信息量，但却在视频结构化处理中消耗大量的计算资源和时间。

发明内容

本发明的一个目的在于提出了一种基于人脸识别的视频摘要方法，主要关注视频中的“人”这类目标类型，基于人脸识别，对视频进行摘要，生成包含人脸的摘要视频。

本发明的另一个目的在于提出了一种装置，以完成基于人脸识别的视频摘要方法，获得视频摘要。

本发明的再一个目的在于提出了一种基于人脸识别的人脸摘要方法，主要关注视频中的“人”这类目标类型，基于人脸识别，对视频进行摘要，生成出现在视频中的每个人的人脸图像。

本发明的另一个目的在于提出了一种装置，以完成基于人脸识别的人脸摘要方法，获得人脸图像。

一种基于人脸识别的视频摘要方法，包括

步骤一，人脸检测

是对原始视频中的图像帧进行扫描，获得视频帧中是否存在人脸区域，如果存在人脸区域，获取人脸所在区域，这些区域作为人脸跟踪的输入数据；

步骤二，人脸跟踪

人脸跟踪一方面是对人脸检测的结果进行平滑滤波，并作为轨迹生成提供输入数据；

步骤三，人脸轨迹生成

轨迹生成是对人脸跟踪的结果进行整理和索引，通过索引和记录每个跟踪得到的单个人脸的区域轨迹，得到一个个人脸目标的运动轨迹，这里称为人脸轨迹。人脸轨迹包含了该人脸运动的坐标位置、人脸区域和人脸出现的时间段信息。

步骤四，摘要合成

对人脸轨迹所在的视频片段进行合成，即将不同的轨迹中的目标进行前景叠加，生成摘要视频。

一种应用于基于人脸识别的视频摘要方法的装置，包括

视频数据库、视频数据接口模块、人脸检测与跟踪模块、轨迹生成与存储模块、摘要合成模块和用户接口模块。视频数据接口模块对视频数据库进行读取和解码，为人脸检测与跟踪模块提供一帧帧的图像数据，人脸检测与跟踪模块获取每帧图像中的人脸区域，输入到轨迹生成与存储模块，轨迹生成与存储模块根据人脸检测与跟踪模块提供的人脸跟踪信息，生成一个个的人脸目标轨迹，并对其进行索引和存储，摘要合成模块根据用户接口模块的输入条件，生成满足输入条件的索引合成的摘要视频。

一种基于人脸识别的人脸摘要方法，生成出现在原始视频中的不同人的人脸图像，并形成出现的人脸图像列表，包括

步骤一，人脸检测