[发明专利]一种基于深度学习的字幕叠加截图的实现方法

说明书

本发明公开了一种基于深度学习的字幕叠加截图的实现方法，属于媒体技术领域，本发明包括以下步骤：在视频上选择字幕叠加截图的视频区间；在所述视频区间的每一帧图像上定位并剪裁出字幕；对所有字幕进行分段并抽取每段字幕中的关键帧；对所述关键帧进行相似度计算，利用计算结果进行对比去重，得到最终字幕；将视频区间的首帧画面与最终字幕依次进行拼接，得到字幕叠加截图，采用该方法出错率低、处理效率高，自动化程度高。

技术领域

本发明涉及媒体技术领域，具体涉及一种基于深度学习的字幕叠加截图的实现方法。

背景技术

二十一世纪以来，互联网获取信息便捷高效、信息传播范围广的优点使得互联网如雨后春笋般遍及中国的各个角落。同时，手机行业的高速发展也使其进入了千家万户，目前人们使用移动终端进行网上冲浪已成为生活的新常态，因此广电媒体行业占领互联网这个舆论阵地的需求十分强烈。

当前互联网中新闻讯息的展现方式高度多元化，包括GIF动图、短视频及字幕叠加截图等，其中字幕叠加截图正为时下热门：它将多幅画面的字幕部分拼接到同一画面中，因此仅使用一张图片就可分享视频片段的精髓，而不再需要分享视频链接，等待缓存。将这种新型便捷的字幕叠加截图应用在互联网(包括微信、微博、新闻客户端以及门户网站)新闻稿件上，用一张图片将一整段的新闻解释清楚，方便用户快速获得新闻关键内容，满足了新闻媒体行业的诉求，也迎合了当前人们快节奏的生活方式。

现有技术中常用的字幕叠加截图的方法主要分为以下三种：

1、利用photoshop、关图秀秀等软件手动生成字幕叠加截图，需用户自行截取多张字幕不同的视频截图再自行裁剪和拼接形成。这种方式有以下几种不足：操作复杂性高，整个流程都是手动操作，步骤复杂，并且需要有一定的photoshop等软件的使用基础；不便管理，中间过程产生的素材多，而实际需要的仅为最后的字幕叠加图；效率低，制作一张截图所花费的时间依软件熟练度而定，但总体偏高。这种方式操作复杂性高，中间过程产生的素材多，不便管理，效率也比较低。

2、利用拼接软件半自动生成字幕叠加截图，其中需要用户自行截取多张字幕不同的视频截图，选定字幕位置，拼接软件根据字幕位置，自动化去除多余画面生成字幕叠加截图。这种方法有以下几种缺陷：自动化程度低，用户仍需在视频中手动截取画面和选定字幕位置，手动处理的痛点依然存在；处理时间长，尽管裁剪和拼接步骤都交给了软件，但最终总处理时间仍然较长；这种方式的复杂度有所降低，但手动截取字幕图像仍无法满足行业需求。

3、利用图像识别和语音识别方法自动生成字幕叠加图，此方法利用提供的视频的入点出点信息以及人声特征音色，判断字幕叠加图的起始位置和终点位置，获取画面中出现的多个字幕自动生成字幕叠加截图。该方法相比于上述两种方法已经有所改进，但仍存在以下的不足：正确率难保证，人声音色特征的识别易受背景音的影响，可能造成过早结束和漏帧缺帧的现象；成品图效果不佳，字幕片段的选取区域不稳定容易大小不一，且字幕段数目不确定，难以保证最终的叠加截图美观性。

发明内容

本发明的目的在于：提供一种基于深度学习的字幕叠加截图的实现方法，解决了目前生成字幕叠加截图自动化程度低、正确率低的技术问题。

本发明采用的技术方案如下：

一种基于深度学习的字幕叠加截图的实现方法，包括以下步骤：

步骤1：在视频上选择字幕叠加截图的视频区间；

步骤2：在所述视频区间的每一帧图像上定位并剪裁出字幕；

步骤3：对所有字幕进行分段并抽取每段字幕中的关键帧；

步骤4：对所述关键帧进行相似度计算，利用计算结果进行对比去重，得到最终字幕；

步骤5：将视频区间的首帧画面与最终字幕依次进行拼接，得到字幕叠加截图。