[发明专利]一种基于语音关键词识别的多媒体课件检索系统

说明书

技术领域

本发明涉及多媒体技术领域，尤其涉及一种基于关键词的多媒体课件音频检索的方法与系统。 

背景技术

近年来随着技术的进步，大量的语音被采集并用音频的方式记录保存下来，其中由于终身学习和网络教学的需要，网上出现了越来越多的多媒体音频课件。可是，伴随着多媒体课件的剧增，学习者面对大量的教学音频资料，如果想要从中找到自己所要学习的知识点内容，往往需要学习者把所要资料观看一遍才能找到自己所需要的内容。这给学习者造成了很大的麻烦。因此，如何帮助学习者快速准确地检索多媒体课件，并找到自己所需要的知识点已成为一个亟需解决的问题，这其中涉及到音频检索的知识。 

但是，目前大多数的音频检索都是基于语音识别技术的，都存在着各自的不足，使得检索的效果并不理想。比如，Cambridge Video Mail Retrieval(VMR 1996)一个关于视频邮件检索的应用系统，是基于关键词检出的，而系统VMR存在较大的局限性就是它们都是在预定的几个有限的关键词上进行开发的，只能识别几个有限的关键词并且是基于特定人的，检索效果不理想。另外，检索的关键词固定且个数少、识别率较低、定位不准确等问题，也或多或少地出现在其它的检索系统当中，这使得目前多媒体课件的检索也没有较好的效果。不仅如此，目前大多数的多媒体课件检索都没有考虑到学习者的参与和反馈，使得学习者们只能在资源庞大的多媒体教学课件中一遍又一遍地找寻自己所需要的内容。另外，目前DTW算法和HMM虽然在语音识别中得到了广泛的使用，但是并没有人能够将DTW快速检索的优势和HMM模型搜索精准的优势很好地结合起来在一个系统当中。此外，如果再能考虑到用户反馈，那么系统的性能可能会大大提高。 

发明内容

针对现有技术无法在多媒体课件中快速、准确地查找到用户查询的内容，无法满足用户远程课程高效学习的目的，本发明所要解决的技术问题是提供了一种基于关键词的多媒体课件音频检索方法，采用基于隐式马尔科夫模型的语音识别技术实现准确集内词标准，采用动态模板规整算法实现集外词的快速检索，并且结合用户反馈，从而提高多媒体课件检索的准确率。 

本发明解决其技术问题所采用的技术方案：首先后台根据教师预先提供的文本知识点，将文本知识点转化成知识点语音模型，使用基于隐式马尔科夫模型的语音识别技术对课件库中的相应课件进行知识点标注，定位到知识点在多媒体课件中的确切位置；将标注结果传给索引模块，构建和维护基于关键词的倒排索引；用户在进行关键词查询时，在提示框中输入文本关键词，若关键词已在预标注的知识点中则提取索引中的结果显示给用户，若关键词还未预先标注，系统将对课件进行实时检索，再把结果反馈给用户，并等待用户对结果反馈并统计反馈信息；对用户反馈信息进行关键词自适应训练，对课件重标注并更新索引。 

本发明解决其技术问题所采用的技术方案还可以进一步完善。所述的基于隐式马尔科夫模型的语音识别技术为通过建立垃圾模型检测语音文档是否含有查询的关键词，系统由声学特征提取、声学模型、语言模型和解码器组成，从语音数据提取声学特征并输入到解码器，利用声学模型和语言模型，在最大后验概率准则条件下解码输出识别结果。所述的用户反馈为用户点击系统检索结果列表中的条目，并观看相应的视频段时，如果检索结果正确，可以将结果标注为正确，若检索结果错误，则将结果标注为错误。所述的关键词自适应训练为系统重新使用用户标注为正确的那些关键词语音段训练出新的关键词模型。 

本发明有益的效果是：利用语音识别技术自动检索多媒体课件内容和创建索引结构，实现了用户对多媒体课件中知识点的快速定位；通过对关键词进行集内词和集外词区分，集内词在后台采用基于隐式马尔科夫模型的语音识别技术来获得查询的准确性，集外词在用户查询时采用动态模板规整算法来达到快速查询的目的；通过记录集外词的查询结果扩充了关键词词表，更新了索引列表；通过允许用户对检索结果进行选择和评价，在管理员监管下由管理模块用于数据库更新和关键词表更新，进一步提升了查询速率和准确率，识别率较高且定位准确，对于多媒体课件的检索有着较好的效果。 

附图说明

图1 是本发明的基于关键词的多媒体课件音频检索系统的系统框架。 

图2 是知识点自动预标注模块的流程图。 

图3 是课件检索模块的流程图。 

图4 是知识点及课件管理模块的流程图。 

具体实施方式

下面结合附图和实施例对本发明作进一步介绍：本发明的方法共分四个模块。 

第一部分：知识点自动预标注