[发明专利]一种基于深度学习的新闻视频标题提取方法

说明书

本发明公开了一种基于深度学习的新闻视频标题提取方法，包括关键帧提取、关键帧文字检测、关键帧文字特征提取和特征聚类。在关键帧提取过程中，使用帧间差分法，将与前一帧内容变化较大的帧作为关键帧；在关键帧文字检测过程中，使用EAST网络确定关键帧的文字区域；在关键帧文字特征提取过程中，使用卷积神经网络(CNN)提取关键帧的特征，再将特征依次输入循环神经网络(RNN)，得到文字区域的特征向量；在特征聚类过程中，使用欧氏距离得到相邻关键帧之间的相似度，根据相似度对关键帧的文字进行聚类，得到新闻视频标题图像。本发明利用深度学习技术，依据关键帧的文字特征和新闻视频字幕特征产生新闻视频标题，具有提取准确、运算快的优点。

技术领域

本发明属于人工智能技术领域，涉及一种新闻视频标题提取方法，具体涉及一种基于深度学习的新闻视频标题提取方法。

技术背景

新闻视频具有形象直观、信息量大的特点，是人们获取信息的重要来源，新闻视频分析及处理正成为智能媒体领域的研究热点。作为新闻视频的一个重要特征，标题条字幕是获取新闻视频高层语义内容的重要线索，表达了新闻故事的中心意思，在新闻视频拆分、内容描述、检索和智能推荐中具有重要应用。

新闻视频标题字幕的获取主要依靠标题条检测，标题条检测主要包括五类方法。第一类，基于边缘检测的方法，该类虽然可以快速检测到文字区域，但鲁棒性较差。第二类，基于纹理特征的方法，该方法能够适用于具有复杂特征的图片，但算法的效率较低。第三类，基于区域特征的方法，该方法对图片对比度以及分辨率要求较高。第四类，基于标题条形状特征快速检测的方法，该方法利用标题条是固定矩形的特点，降低了复杂度，提高了检测速度。第五类，基于机器学习的检测方法，将图片分割为若干个子块，送入已训练好的分类器中，得到子块有字幕或无字幕的分类结果，该方法正确率较高，但大量数据集导致模型训练的复杂度过高。

现有的新闻视频标题字幕提取方法不仅速度慢、鲁棒性较差，并且提取效果还严重依赖于字幕区域特定的位置和形状。为此，有必要发展新的基于深度学习的新闻视频标题提取方法。

发明内容

为了解决上述技术问题，本发明利用深度学习检测关键帧的文字和提取文字特征，通过聚类得到新闻视频标题。对于关键帧文字检测，采用EAST网络；对于文字特征提取，采用CNN和RNN。本发明方法比传统方法更快、更准确，也不依赖于字幕的形状和位置。

本发明所采用的技术方案是：一种基于深度学习的新闻视频标题提取方法，其特征在于，包括以下步骤：

步骤1：利用帧间差分方法提取关键帧；

步骤2：使用EAST网络得到关键帧文字区域；

步骤3：使用CNN和RNN先后提取关键帧文字区域的特征向量；

步骤4：根据得到的特征向量进行关键帧的相似性比较，然后进行聚类得到新闻视频标题字幕图像。

相对于现有技术，本发明方法具有如下积极效果：

1)本发明中涉及的方法不依赖于字幕的位置、形状等特征，而是基于关键帧上所有文字内容判定是否为标题字幕，因而算法的普适性好。

2)本发明利用深度学习对关键帧文字进行检测，并提取其特征，相对于传统方法而言，更加快速、准确，鲁棒性更好。

附图说明

图1：本发明实施例的流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施案例对本发明做进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种基于深度学习的新闻视频标题提取方法，包括以下步骤：

步骤1：使用帧间差分的方法实现关键帧提取；