[发明专利]面向海量广播电视节目的新一代智能编目系统和方法

权利要求书

1.一种面向海量广播电视节目的智能编目系统，其特征在于：该系统利用计算机实现初始化模块、节目打点模块、新闻拆条模块、广告抽取模块、节目编目模块、多媒体检索模块和知识库管理与学习模块；

初始化模块是从某频道广播电视节目历史数据提取的音频波形和视频图像中自动发现广播电视节目片头曲、片尾曲以及广告片段，系统初始化操作界面提供人工审核、编辑以及入库操作；

节目打点模块对给定广播电视节目进行打点处理，能对广播电视节目的起止点进行自动标记，节目打点操作界面对新发现的广播电视节目提供人工审核、编辑以及入库操作；

新闻拆条模块对给定广播电视新闻节目进行拆条处理，能对广播电视中的新闻节目的条目起止点进行自动标记，新闻拆条操作界面提供人工审核、编辑以及入库操作；

广告抽取模块对给定广播电视节目进行处理，能对广播电视节目中播放广告的起止点进行自动标记，广告抽取操作界面对新发现的广告提供人工审核、编辑以及入库操作；

节目编目模块对给定广播电视节目进行编目处理，能对广播电视节目以及新闻条目的内容进行自动标记，对置信度较低的编目内容，节目编目操作界面提供人工审核、编辑以及入库操作；

多媒体检索模块对给定广播电视节目进行索引处理，为用户提供经过编目和索引的广播电视节目数据的多媒体检索能力，多媒体检索操作界面实现基于多媒体检索；

初始化模块、节目打点模块、新闻拆条模块、广告抽取模块、节目编目模块提供的处理结果，经知识库管理与学习操作界面人工确认后，输入知识库管理与学习模块的知识库，进行学习并更新上述各模块的模型参数，以确保系统在不同应用环境下的适应性和可用性。

2.一种使用权利要求1所述面向海量广播电视节目的智能编目系统的面向海量广播电视节目智能编目的方法，其特征在于，实现所述方法的步骤如下：

步骤S1：利用计算机对各类广播电视通道采集的音视频数据做音视频解码处理，得到音频波形和视频图像；

步骤S2：通过初始化模块对广播电视节目中的音频波形和视频图像信息同时进行自动处理，发现广播电视片头模板、片尾模板及广告模板，并经过系统初始化操作界面人工审核、编辑后，输入知识库管理与学习模块的知识库，供后续步骤S8处理使用；初始化过程只在系统运行初期进行一次；

步骤S3：系统日常运行开始后，执行步骤S1的各类广播电视通道采集的音视频数据经过采集、解码处理，节目打点模块对广播电视节目中的音频波形和视频图像信息同时进行自动处理，使用知识库管理与学习模块的知识库提供的片头、片尾模板信息以及疑似节目片头、片尾自动发现模型实现对广播电视节目开始和结束点的定位；对于发现的疑似节目片头、片尾自动提供置信度信息，经过节目打点操作界面人工操作审核、编辑后，结果入库，同时输入知识库管理与学习模块的知识库，供后续步骤S8处理使用；

步骤S4：广告抽取模块对广播电视节目中的音频波形和视频图像信息同时进行自动处理，使用知识库管理与学习模块的知识库提供的广告模板信息以及疑似广告自动发现模型，广告抽取模块实现对广播电视广告开始和结束点的定位；对于发现的疑似广告自动提供置信度信息，经过广告抽取操作界面人工审核、编辑后，结果入库，同时进入知识库管理与学习模块的知识库，供后续步骤S8处理使用；

步骤S5：根据上述步骤S3得到的广播电视节目开始和结束点信息，新闻拆条模块能对其中的新闻类节目进行进一步打点，通过对音频波形和视频图像信息的自动处理，使用知识库管理与学习模块的知识库提供的新闻拆条自动发现模型实现对新闻节目的条目开始、结束点的定位，节目编目模块对于发现的新闻条目边界自动提供置信度信息，经过新闻拆条操作界面人工审核、编辑后结果入库，同时进入知识库管理与学习模块的知识库，供后续步骤S8处理使用；

步骤S6：根据上述步骤S3得到的广播电视节目开始结束点信息和步骤S5得到的新闻类节目新闻条目开始结束点信息，使用知识库管理与学习模块的知识库提供的语音、字幕识别模型，通过对音频波形和视频图像信息的自动处理，实现对广播电视节目和新闻条目中字幕、语音内容的自动识别，融合语音、字幕识别结果文本，生成编目关键词和摘要；对编目自动提供置信度信息，经过节目编目操作界面人工审核、编辑后结果入库；审核、编辑后的语音、字幕识别结果文本同时进入知识库管理与学习模块的知识库，供后续步骤S8处理使用；

步骤S7：多媒体检索模块对广播电视节目中的音频波形和视频图像信息同时进行自动处理，使用知识库管理与学习模块的知识库提供与语音内容、视频内容、说话人、人脸和徽标相对应的识别模型，实现对语音内容、视频内容、说话人、人脸和徽标的索引，索引结果入索引库，从而实现了基于搜索的编目方式；索引包括结果置信度信息；

步骤S8：根据上述步骤S2至步骤S6得到的含有置信度信息的各类信息，经过知识库管理与学习操作界面人工编辑、审核、修正后，输入知识库管理与学习模块，更新知识库管理与学习模块的知识库中各模型参数。