[发明专利]一种基于词汇树的音频片段检索算法

说明书

技术领域

本发明涉及一种音频基于内容的片段检索的领域下，基于词汇树的量化方法，结合旋律线匹配，查找原始音频的检索算法。

背景技术

随着现代信息技术，特别是网络技术和多媒体技术的迅速发展，多媒体数据已成为互联网上所传送数据的主要部分，声音媒体是除视觉媒体外最重要的媒体。

基于内容的音频信息检索技术有着广泛的应用前景：(1)它是音频信息搜索引擎的关键技术，用户可通过该技术快速获取所需的信息资源，还可以根据音频信息的内容实现更加灵活的信息搜索策略；(2)它可实现对音视频点播和网上电视节目等媒体中的音频信息进行实时检索、审查和有效监控；可应用于市场调查、网络管理、信息安全等诸多领域；(3)它可用于各种数字音频产品的版权保护，如音乐的版权保护，即搜索未经授权的使用等；(4)它在音频信息分类与统计技术的研究中扮演重要的角色。如在广播电视新闻节目、学术会议的录音报告、数字图书馆等内容中包含着大量的语音、音乐等信息，使用音频信息检索技术可以有效地对这些信息进行分类、统计与检索，更好地利用这些资源。

基于词汇树的音频片段检索就是一种基于内容的音频信息检索技术，可以实现用小的片段，即时间比较短的片段，一般为10s，检索出原始的音频文件，并且较高的准确率和较短的响应时间。

发明内容

本发明要解决的技术问题：基于音频数据内容的音频信息的片段检索。

本发明采用的技术方案：一种基于词汇树的音频片段检索方案，其特征在于步骤如下：

(1)采用一定量的MFCC Peaks特征，使用k-means的聚类方法训练出一棵词汇树。词汇树是层次化的树，每一层表现为子节点是父父节点数据的k个分类。词汇树的每个叶子节点被记为一个单词。

(2)在插入数据的时候，首先提取出MFCC Peaks特征，使用词汇树将特征变成单词，将单词按照文本检索的方法存储。同时还需要提取旋律线的特征，用字符串的形式存储在数据库中。这是一个离线的过程。

(3)在获得一个查询片段的时候，首先从片段提取MFCC Peaks特征，使用相同的词汇树将特征变成单词，使用文件检索中的计算得分的方式计算库中音频的得分，根据得分的大小排序，获得前5个结果。同时需要对检索的片段提取出旋律线，在前面获得的前5个结果中，进一步用旋律线进行字符串的相似匹配，根据这个得分重新对这5个结果进行排序。

根据本发明的又一个方面，其中步骤(1)又进一步包括：对MFCC Peaks特征的定义。MFCC Peaks特征定义为在MFCC上面的包含峰值点的向量。具体提取包括：

(a)首先提取音频文件的MFCC特征。

(b)在MFCC维度和时间的二维图上，以某个点为中心的一个大小为P的范围内，没有一个点的值大于这个点，这个点就认为是峰值点。MFCC Peaks特征指的是包含这样的峰值点的一个MFCC向量。

根据本发明的又一个方面，其中步骤(1)还包括词汇树的构建：

(a)词汇树的构建：首先将所有训练数据划分成K类，记下每类的中心点。然后把每类的数据再划分成K类，记下每类的中心点。这样递归，构造成一棵L层的树，并给树的每个叶子节点赋值一个单词。

其中步骤(3)还包括词汇树的使用。

(a)词汇树的使用：当有一个特征需要转化为单词时，首先与树的根节点所记下的中心点比较，找到距离最近的点，移动到对应的子节点，直到遇到叶子节点为止，当前叶子节点的单词就是这个特征所量化的单词。

附图说明

图1为本发明的方法基本流程图。

具体实施方式

下面参考附图1，对本发明的实施例进行详细的说明。

本发明的方法原理为：使用词汇树的方法把音频片段检索的问题转化为文本的检索问题，同时可以结合现有的旋律线匹配等方法进一步调整前5个返回结果，实现高效率、高准确率的音频片段检索。

具体而言，本发明所提出的方法基本流程如图1所示。

本发明主要包括如下步骤：

(1)采用一定量的MFCC Peaks特征，使用k-means的聚类方法训练出一棵词汇树，词汇树是层次化的树，每一层表现为子节点是父父节点数据的k个分类，词汇树的每个叶子节点被记为一个单词；

(2)在插入数据的时候，首先提取出MFCC Peaks特征，使用词汇树将特征变成单词，将单词按照文本检索的方法存储，同时还需要提取旋律线的特征，用字符串的形式存储在数据库中，这是一个离线的过程；