[发明专利]音频、视频内容的搜索方法

说明书

技术领域

本发明涉及音频、视频内容的搜索方法。

背景技术

随着互联网的发展，搜索引擎成为人们上网必不可少的工具之一。传统的搜索引擎都是 基于文本搜索(Text Search)，称为是文本搜索引擎。其原理是：搜索引擎服务器收集大量 的网页；并根据已有的规则提取网页中的文本并做分词(Word Segmentation)处理，常见的 分词方法，例如：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法； 文本搜索引擎利用文本词库做索引表用于快速搜索。用户在进行搜索的时候，将文本输入到 服务器，服务器对该文本进行分词处理后，根据索引表进行快速的搜索，然后返回结果。

目前，搜索引擎都是基于文本的，即使是一些搜索图片或视频的搜索引擎也是通过图片 或视频节目的名称、说明、介绍、标签等文本信息进行搜索的。搜索引擎还没有直接通过音 视频的信号内容进行搜索的。这里，我们所说的音视频是指音频文件或者视频文件。通常视 频文件包含音频信号流和视频信号流。

音频指纹(audio fingerprinting)在很早以前就被提出来，例如，Jaap Haitsma和Ton Kalke在2002年音乐搜索进展国际会议(Proceedings of International Conference on Music Information Retrieval)上发表了“一种高可靠性的音频指纹系统”(A Highly Robust Audio Fingerprinting System)。这种系统通过信号处理的方法，将音频文件中每隔一段时间(例 如11.6ms)的音频信号，转化为一个32比特(bit)大小的指纹(fingerprint)，通过这种方法 一个音频文件就可以被转换成一个指纹文件。系统在对所有的音频指纹文件做索引表后，就 可以进行快速的音频指纹检索了。

和音频指纹系统原理相似地，视频指纹(video fingerprinting)系统将每一帧(frame) 或者几帧转化为很小的指纹(例如32比特大小)，然后进行检索。例如国际专利号为 WO2007/127590A2的“基于多分辨率，多帧率和时域信号的数字视频指纹处理方法和系统” (Method and system for fingerprinting digital video object based on multiresolution， multirate and temporal signatures)公开了一种将视频信号的每帧转化为84比特或132比 特的视频指纹处理方法。通过这种方法一个视频文件就可以被转换成一个很小的指纹文件。

在音频指纹或视频文件数目较少(例如1万个)的情况下，可以将所有的指纹文件存入到 计算机内存中，进行索引后，可方便地进行快速的检索。上述“一种高可靠性的音频指纹系 统”即给出了这种方法的详细步骤。然而，在实际情况下，视频文件的数目要远远超过一万 的数目。例如，目前在互联网上出现的视频文件数目超过一千万数目，而且数量在不断增长。 因此采用这种方法很难做出实用的搜索引擎。

发明内容

为了解决上述技术问题，本发明提供一种音频、视频内容的搜索方法。

本发明采用如下技术方案：

一种音频、视频内容的搜索装置，包括：

判断模块，用于判断当前流媒体文件是否包括音频文件和视频文件；

音频指纹提取模块，与所述判断模块相连接，用于提取多个音频文件的音频指纹；

音频指纹分词模块，与所述音频指纹提取模块相连接，用于对提取的音频指纹进行分词；

音频索引生成模块，与所述音频指纹分词模块相连接，用于根据分词结果生成音频指纹 索引；

视频指纹提取模块，与所述判断模块相连接，用于提取多个视频文件的视频指纹；

视频指纹分词模块，与所述视频指纹提取模块相连接，用于对提取的视频指纹进行分词；

视频索引生成模块，与所述视频指纹分词模块相连接，用于根据据分词结果生成视频指 纹索引；

搜索模块，与所述音频索引生成模块和视频索引生成模块相连接，利用所述音频指纹索 引搜索匹配的音频文件，利用所述视频指纹索引搜索匹配的视频文件。

进一步地，所述搜索模块包括：

输入判断模块，用于判断输入的需要检索的流媒体文件或流媒体文件片段，是否包括音 频文件和视频文件：