[发明专利]多元化的视频检索方法

权利要求书

1.一种多元化的视频检索方法，其特征在于本方法包括如下步骤：

步骤一、选择检索方式，分别以文字检索、图片检索、音频检索和视频检索方式对视频进行检索；

步骤二、根据不同的检索方式做相应处理，获取检索信息，

a.文字检索方式：直接以文字信息进行视频检索；

b.图片检索方式：首先判断待检索图片样本是否需要做优化处理，如果需要，则对待检索的图片样本进行优化处理，然后获取待检索图片样本的颜色、纹理及形状的特征值信息，如待检索图片样本有人脸，则同时检测人脸并获取相关人脸信息；

c.音频检索方式：首先判断待检索音频样本是否需要优化处理，如果需要，则对待检索音频样本进行优化处理，然后采用音频解析技术将待检索音频样本转换成文字信息，并以特定格式进行保存；

d.视频检索方式：首先分别提取待检索视频样本中的字幕流和视频流，若存在字幕流，则将字幕流转换成文字信息，并以特定格式保存，否则获取音频流，并按照音频检索方式对音频流进行处理，同时提取出视频流中的参考帧序列集，参考帧按照图片检索方式进行处理；

步骤三、设置人脸信息、文字信息和图片特征值信息在视频检索中的权重值，按权重值设置视频检索策略；

步骤四、按检索策略对待检索视频样本进行检索，获得检索结果。

2.根据权利要求1所述的多元化的视频检索方法，其特征在于：图片检索方式中，对待检索图片样本进行的优化处理包括光照消弱、锯齿消除、分辨率调整，获取的人脸信息包括脸部特征、人脸在图片中的位置、脸部的偏移角以及人脸的唯一标识码。

3.根据权利要求2所述的多元化的视频检索方法，其特征在于：人脸唯一标识码的获取根据脸部特征在人脸库中进行匹配，如果能匹配相似人脸，就以最优人脸的姓名对该人脸以及该人脸的相关信息进行标识；如果匹配失败，就产生一个随机的标识码对该人脸以及该人脸的相关信息进行标识，同时将该人脸信息存入人脸库。

4.根据权利要求2或3所述的多元化的视频检索方法，其特征在于：根据从图片获取的人脸信息进行视频检索时，匹配人脸信息和/或人脸的唯一标识码。

5.根据权利要求1所述的多元化的视频检索方法，其特征在于：音频检索方式中，音频优化处理包括将音频的格式、编码、码率、声道调整到特定值，对音频进行降噪、回声消除处理，音频优化处理后的音频格式为wav、编码格式为pcm_s16le、码率为1600k、声道为单声道。

6.根据权利要求1所述的多元化的视频检索方法，其特征在于：音频检索方式中，待检索音频样本转换成文字信息后保存的特定格式包括音频解析成的文字内容以及该文字内容所对应的音频播放时间段。

7.根据权利要求6所述的多元化的视频检索方法，其特征在于：根据音频的文字信息进行视频检索时，匹配音频的文字信息和/或该文字信息所对应的音频播放时间段。

8.根据权利要求1所述的多元化的视频检索方法，其特征在于：视频检索方式中，字幕流转换成文字信息后保存的格式包括字幕流的文字内容以及该文字内容出现在视频中的时间信息。

9.根据权利要求1所述的多元化的视频检索方法，其特征在于：视频检索方式中，参考帧序列集的获取方法为：1.取出视频的前两帧，以第一帧作为对比帧，算出该两帧的相似度k_i；2.设定相似度阀值k₀，如果该相似度k_i大于阀值k₀，则取出视频的下一帧与对比帧做相似度比较，如此重复，直至某一帧与对比帧的相似度小于阀值k_0,；3.将该帧保存到参考帧序列集，同时也将该帧作为对比帧，与后续视频帧进行相似度比较；4.重复步骤2和3，直至视频结束。

10.根据权利要求1所述的多元化的视频检索方法，其特征在于：设定人脸信息、文字信息和图片特征值信息的权重值分别为s1、s2和s3，并设定视频检索方式中字幕流、音频流和参考帧的相似度分别为q1、q2和q3，则视频检索的最终相似度为s1×q1＋s2×q2＋s3×q3。