[发明专利]一种基于深度学习的视频字幕提取方法

摘要

本发明公开了一种基于深度学习的视频字幕提取方法，步骤(1)、以固定的采样频率挑选出含有字幕的图片作为训练数据集；步骤(2)、将每一张图片做二值化处理，把经过二值化处理后的图片作为标签；步骤(3)、使用训练数据集和对应的图片标签，构成CNN字幕提取模型；步骤(4)、将新的视频流以固定频率采样，获得新的含有字幕的有序图片；步骤(5)、将步骤(4)获得的新的含有字幕的有序图片输入到训练好的深度学习模型中，输出含有字幕的二值图片；步骤(6)、使用光学字符识别技术将模型输出的二值图片进行识别，生成对应的字幕文本文件。本发明为视频字幕编辑、翻译等工作提供一种获取字幕文本的方法。

主权项

1.一种基于深度学习的视频字幕提取方法，其特征在于，该方法包括以下步骤：步骤(1)、将含有字幕的视频流转换为有序静态图，以固定的采样频率挑选出含有字幕的图片作为训练数据集；步骤(2)、将每一张图片做二值化处理，即把文字部分的像素值处理成1，其余部分的像素值处理为0，把经过二值化处理后的图片作为标签；步骤(3)、使用步骤(1)中获得的训练数据集和对应的图片标签，先把图像通过一个卷积核大小为1x1的卷积层映射到多维特征空间，然后利用线性整流函数ReLU作为激活函数为模型添加非线性因素，再通过卷积核大小分别为3x3、5x5和7x7的三通道卷积网络，逐级获取不同抽象程度的高维的特征，将三通道提取出的特征图依次进行堆叠，经过一个卷积核为1x1的卷积层，把高维度的特征图转换为含有字幕的图片作为输出，通过大量的数据训练之后，获得一个有效的CNN字幕提取模型；步骤(4)、将新的视频流以固定频率采样，获得新的含有字幕的有序图片；步骤(5)、将步骤4获得的新的含有字幕的有序图片输入到训练好的CNN字幕提取模型中，获得新的含有字幕的二值图片；步骤(6)、使用光学字符识别技术将模型输出的二值图片进行识别，生成对应的字幕文本文件。